蜗牛之路

本文知识点：
1、复习了类的写法。
2、复习了scrapy先大范围取数，然后for循环取每一个item的用法。取大范围值的时候，在python中print不出来也没有问题，比如本文中的node_list，for循化中可以取出就可以了。
3、学习了写入Mysql时自动生成时间的方法。
4、学习了xpaht中的“.//”、“./”的写法。
5. Mysql避免数据重复插入的方法。

一、正则
折腾了一个早上，发现原来是目标网页的问题：http://rank.chinaz.com/?host=zz.xhj.com&st=0&c=&sortType=0&page=1
网页上的整体指数、PC指数、移动指数各栏数据在网页源码是有差异的，导致有的数据可以通过正则取到，有的取不到！

取的结果是这样的：

二、别人推荐的讲python类的视频
https://www.bilibili.com/video/av69455439?from=search&seid=406401960648305052

三、代码
后来放了几天，学习了一点正则，复习了一下scrapy，最后终于搞定了：

import requests
import re
import MySQLdb
from lxml import etree
import time
import datetime

#函数要调用必须先定义，而且顺序必须在前

class KeywordsTool():
	"""一个采集chinaz关键词指数的类"""
	def __init__(self, url):
		# init进行初始化参数，把我们需要从外部传入的参数，作为类的属性
		self.url = url
		self.conn=MySQLdb.connect(host="localhost",user="root",passwd='',db="testpy" ,port=3306,charset="utf8")  #连接数据库
		self.cursor=self.conn.cursor()  #定位一个指针

	def get_url_content(self,url, max_try_number=5):
		#封装的requests.get
	    try_num = 0
	    while True:
	        try:
	            return requests.get(url, timeout=5)
	        except Exception as http_err:
	            print(url, "抓取报错", http_err)
	            try_num += 1
	            if try_num >= max_try_number:
	                print("尝试失败次数过多，放弃尝试")
	                return None


	def get_total_page(self,content):
		#获取关键词总页数		
		selector = etree.HTML(content.text)		
		total_page_num = selector.xpath("//span[@class='col-gray02']/text()")          # 获取总页数
		total_page_num=re.sub(r'\D','',total_page_num[0])
		return int(total_page_num)

	def insert_to_db(self,word,total_index,pc_index,m_index):
		#将数据插入Mysql数据库
		dt=datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
		#insert ignore into  是避免重复插入
		insert_result = self.cursor.execute("insert ignore into keywords(word,total_index,pc_index,m_index,create_time) VALUES ('%s',%s,%s,%s,str_to_date(\'%s\','%%Y-%%m-%%d %%H:%%i:%%s'))"%(word,total_index,pc_index,m_index,dt))
		print("insert {}".format(insert_result))
		print('[关键词：',word,'-----------已成功添加到数据库---------------')
		# time.sleep(10)
		self.conn.commit()

	def get_keywords(self,i):
		#获取网站上的关键词信息
		url ="http://rank.chinaz.com/?host={}&st=0&c=&sortType=0&page={}".format(self.url,i)
		content=requests.get(url).text
		selector = etree.HTML(content)	
		node_list = selector.xpath("//li[@class='ReListCent ReLists clearfix']") 
		for node  in node_list:
			keywords = node.xpath("./div[@class='w25-0 tl pl10 pr pbimg showt']/a/text()")[0]
			index_list = node.xpath("./div[@class='w8-0']/a/text()")
			if len(index_list) ==0:
				index_total = node.xpath(".//span[@title='整体搜索量']/a/text()")[0]
				index_pc = node.xpath(".//span[@title='PC搜索量']/a/text()")[0]
				index_m = node.xpath(".//span[@title='移动搜索量']/a/text()")[0]
			else:
				index_total = index_list[0]
				index_pc = index_list[1]
				index_m = index_list[2]
			print('采集关键词：',keywords,',整体指数：',index_total,',PC指数：',index_pc,',移动指数：',index_m)
			self.insert_to_db(keywords,index_total,index_pc,index_m)
		print("已经完成第{}页数据的抓取".format(i))
		print("*"*80)
		time.sleep(2)



	# ===抓取多页数据
	def get_all_content(self):
		url = "http://rank.chinaz.com/?host={}&st=0&c=&sortType=0&page=1".format(self.url)
		r = self.get_url_content(url)
		total_page_num = self.get_total_page(r) #这里调用函数self一定不能少
		print("关键词总页数为{}页".format(total_page_num))
		if total_page_num <= 9:
			for i in range(1,total_page_num+1):
				self.get_keywords(i)
		else:
			for i in range(1,10):
				self.get_keywords(i)



A = KeywordsTool("sohu.com")
A.get_all_content()

四、关于Mysql版本的问题
想实现在mysql中插入数据的时候在create_time字段自动加入时间，可是搞了半天没搞出来，后来才发现原来是Mysql版本的问题，我的mysql版本太低了。找不到这个current_timestamp的选项。

但是将时间插入mysql也老是出错，后来终于搞定了，应该用下面的代码

dt=datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
sql = "INSERT INTO tb_emotion (name,datetime,emotion) VALUES ('%s',str_to_date(\'%s\','%%Y-%%m-%%d %%H:%%i:%%s'),'%s')" % (name,dt,emotion)

五、设置唯一索引
这个要在Navicat里面设置，在Mysql中没有找到设置的地方。

参考：https://www.jianshu.com/p/12b167812fdb

六、Mysql避免重复插入数据的方法

insert ignore into table_name(email,phone,user_id) values('test9@163.com','99999','9999'),

如果是用主键primary或者唯一索引unique区分了记录的唯一性,避免重复插入记录可以使用。这样当有重复记录就会忽略，执行后返回数字0，如果插入成功，则返回数字1。如下图所示，后面的两次不执行。

参考：https://blog.csdn.net/qq_35044419/article/details/81974207

七、爬取相关关键词的

import requests
import re
from lxml import etree
import time
import datetime

#函数要调用必须先定义，而且顺序必须在前

class KeywordsTool():
	"""一个采集chinaz关键词指数的类"""
	def __init__(self, keyword):
		# init进行初始化参数，把我们需要从外部传入的参数，作为类的属性
		self.keyword = keyword


	def get_url_content(self,url, max_try_number=5):
		#封装的requests.get
	    try_num = 0
	    while True:
	        try:
	            return requests.get(url, timeout=5).text
	        except Exception as http_err:
	            print(url, "抓取报错", http_err)
	            try_num += 1
	            if try_num >= max_try_number:
	                print("尝试失败次数过多，放弃尝试")
	                return None


	def get_total_page(self,content):
		#获取关键词总页数	
		reg = r'共(\d+)页'
		total_page_num = re.findall(reg,content)[0]
		return int(total_page_num)

	def insert_to_db(self,word):
		filename = self.keyword+".txt"
		with open(filename,'a') as f:
			f.write(word+'\n')



	def get_keywords(self,i):
		#获取网站上的关键词信息
		url = "https://data.chinaz.com/keyword/allindex/{}/{}".format(self.keyword,i)
		content=requests.get(url).text
		selector = etree.HTML(content)	
		node_list = selector.xpath("//li[@class='col-224  nofoldtxt']/a/text()") 
		for keyword  in node_list:
			self.insert_to_db(keyword)
			print(keyword)
		print("已经完成第{}页数据的抓取".format(i))
		print("*"*80)
		time.sleep(2)



	# ===抓取多页数据
	def get_all_content(self):
		# url = "https://data.chinaz.com/keyword/analysis/{}".format(self.keyword)
		url = "https://data.chinaz.com/keyword/allindex/{}/1".format(self.keyword)
		r = self.get_url_content(url)
		total_page_num = self.get_total_page(r) #这里调用函数self一定不能少
		print("关键词总页数为{}页".format(total_page_num))
		if total_page_num <= 5:
			for i in range(1,total_page_num+1):
				self.get_keywords(i)
		else:
			for i in range(1,6):
				#最大只能抓取5页，第6页要登陆
				self.get_keywords(i)



A = KeywordsTool("宠物")
A.get_all_content()

八、报错
今天将多个网站的数据插入mysql的时候，报以下的错误

MySQLdb._exceptions.ProgrammingError: (1064, "You have an error in your SQL synt
ax; check the manual that corresponds to your MariaDB server version for the rig
ht syntax to use near 's',16,16,0,str_to_date('2020-04-11 17:31:34','%Y-%m-%d %H
:%i:%s'))' at line 1")

原来这个关键词是“eva jaq's”，有一个逗号，导致插入数据库的时候出错。
通过将下面的句中的单引号改成双引号，双引号改成单引号解决。

self.cursor.execute("insert ignore into keywords(word,total_index,pc_index,m_index,create_time) VALUES ('%s',%s,%s,%s,str_to_date(\'%s\','%%Y-%%m-%%d %%H:%%i:%%s'))"%(word,total_index,pc_index,m_index,dt))