关于互联网上七大姑，八大姨的一些九卦。
一、运行的效果如下：
二、源码如下：
import requests
from bs4 import BeautifulSoup
def getHTMLText(url):
try:
r = requests.get(url, timeout=30)
r.raise_for_status()
return r.text
except:
print("Get HTML Text Failed!")
return ……
一、AttributeError: module 'pandas' has no attribute 'read_excel'
你肯定除了原始的pandas，还自己建了个pandas的文件（也可能是csv.py,excel.py之类的名字，统统重命名，这个龟孙bug折腾我搜了老久）
二、TypeError: can't multiply sequence by non-int of type 'float'
代码如下：
x = 100
y = 0
for i in ran……
今天在测试一个程序的时候，出现了如下的错误：
UnicodeEncodeError: 'gbk' codec can't encode character '\xdb' in position 0: ill
egal multibyte sequence
又是编码的问题，所以不得不学习一下python的编码问题，而且将它搞明白的时候了。
一、背景知识
首先学习一下基础知识：
ASCII 占1个字节，只支持英文
GB2312……
项目需求：
我们采集来的文章没有关键词，在发布的时候无法设定标签，我们通过代码自动提取出文章的关键词，达到对数据加工的目的。
测试环境：
Anaconda Python3.5
Win7 ultmate(英文版）
Excel 2013英文版本
用一百篇文章来测试。
一、使用snownlp（https://github.com/isnowfy/snownlp）
代码如下：
import xlrd
fr……
在paython3中，使用：
print(range(10))
命令得出的结果是 range(0,10) ，而不是[0,1,2,3,4,5,6,7,8,9] ，是什么原因呢？
官方是这样说的：
In many ways the object returned by range() behaves as if it is a list, but in fact it isn’t. It is an object which returns the successive items of the desired seq……
一、安装mezzanine
pip install mezzanine
执行这个命令之后，将会安装以下包：
grappelli-safe, future, urllib3, chardet, idna, r
equests, django, filebrowser-safe, django-contrib-comments, beautifulsoup4, pytz
, tzlocal, six, webencodings, html5lib, bleach, oauthlib, requests-oauthlib, pil
low, me……
今天采集https://chengdu.anjuke.com/community/p1/的时候，遭遇了反爬虫。
即使使用scrapy shell https://chengdu.anjuke.com/community/p1/也无法访问。
方法：
1.通过Python的urllib模块来处理网络请求和响应，向高德地图发送请求，并接收响应
2.高德地图的响应是xml文件，通过Python的DOM来解析xml，并保存POI数据
3.高德地图api使用说明，http://lbs.amap.com/api/webservice/reference/search/
4.强调一点，如果需要使用api，必须向高德地图申请一个key，然后用你申请到……
学习目标：
掌握采集时翻页功能的实现。
掌握采集详细页面内容的方法
掌握运用Navicat可视化界面建立Sqlite数据库、数据表的方法。
掌握运用Scrapy从建立爬虫到写入Sqlite数据库的全部流程。
测试环境：
win7 旗舰版
Python 3.5.2(Anaconda3 4.2.0 64-bit)
一、创建项目及爬虫
创建一个名为teachers的项目。并且在spid……
测试环境：
win7 旗舰版
Python 2.7.14(Anaconda2 2 5.0.1 64-bit)
学习目标：
掌握利用Ipython的命令行模式新建Sqlite数据库、数据表的方法
掌握PyCharm关联Sqlite数据库的方法
Python中文乱码的解决方法
掌握将采集的数据插入Sqlite数据库的方法
一、新建项目
新建项目之后，用PYcharm打开这个项目。
二、撰写爬虫文……
