蜗牛之路

一、Python命名规则

二、xpath用法：

这里的下标是从1开始的，不是0

抓取图片：

小技巧：
如果遇到]怎么办？

比如url为磁力链接

那么

print(links[index].tag)#获取a标签名a
print(links[index].attrib)#获取a标签的属性href和class
print(links[index].text)#获取a标签的文字部分

的结果分别为：

参考：https://www.cnblogs.com/z-x-y/p/8260213.html

截取超级链接

截取多个标签
比如，文章的正文部分又有h2,又有h3，又有p标签，可以通过下面的方法截取，不过我试了一下，发现它先将所有的h2,找出来，再将所有的p标签找出来排列，那么和原文章的顺序就乱了。。
所以最后还是要用正则。

特殊的字段

如果图片url在不同的存储位置，xpath的时候用“｜”符号。

常见问题：
（1）如果在chrome的xpath插件中可以用q_urls = response.xpath('//div[@class="line content"]')看到取值，但是在代码中取不到值，需要用下面的代码：

（2）查看元素

参考：
https://www.cnblogs.com/just-do/p/9778941.html

（3）乱码问题
如果用xpath取到的中文乱码，可以用下面的方案：

参考：
https://www.cnblogs.com/Rhythm-/p/11374832.html

第五章 scrapy爬虫框架
1. __init__.py文件，它是个空文件，作用是将它的上级目录变成了一个模块，，可以供python导入使用。
2. items.py决定抓取哪些项目，wuhanmoviespider.py决定怎么爬的，settings.py决定由谁去处理爬取的内容，pipilines.py决定爬取后的内容怎么样处理。
3.

选择方式为:.h3//text()而不是.h3/text()

4.使用json输出
settings.py中的Item_pipeline项，它是一个字典，字典是可以添加元素的，因此完全可以自行构造一个Python文件，然后加进去。
（1）创建pipelines2json.py文件

（2）修改settings.py，将pipeline2json加入到Item_pipelines中去

5.登陆数据库，数据表的命令

其实之前在这里已经学过了。不过那里是直接修改pipeline，这里新建了一个pipelines2mysql.py用来入库。

这里主要是为了标记一下数据库操作命令。

查看一下weather表格的样子

6.添加一个User_agent

在scrapy中的确是有默认的headers，但这个headrs与浏览器的headers是有区别的。有的网站会检查headers，所以需要给scrapy一个浏览器的headers。

当然还可以用下面的方法：

只需要在settings.py里添加一个User_agent项就可以了。

这里修改了USER_AGENT，导入userAgents模块，下面给出userAgents模块代码：

7.封锁user-agent破解
方法其实很简单：
（1）.新建一个middlewares目录，创建__init__.py，以及资源文件resource.py和中间件文件customUserAgent.py。
（2）.编辑customUserAgent.py，将资源文件resource.py中的user-agent随机选择一个出来，作为Scrapy的user-agent。
（3）修改settings.py文件，将RandomUserAgent加入DOWNLOADER_MIDDLEWARES

8.封锁IP破解
方法和上面差不多：
（1）在resource.py中添加PROXIES。
（2）创建customProxy.py，让Scrapy爬取网站时随机使用IP池中的代理。
（3）修改settings.py文件。

可以参考：https://www.cnblogs.com/hqutcy/p/7341212.html

第六章 自写爬虫模板

项目文件图示：

代码：
getTrendsMV.py

mylog.py

resource.py