互联网

关于互联网上七大姑,八大姨的一些九卦。

Python错误信息大全

0

Python错误信息大全 一、AttributeError: module 'pandas' has no attribute 'read_excel' 你肯定除了原始的pandas,还自己建了个pandas的文件(也可能是csv.py,excel.py之类的名字,统统重命名,这个龟孙bug折腾我搜了老久) 二、TypeError: can't multiply sequence by non-int of type 'float' 代码如下: x = 100 y = 0 for i in ran……

Python的编码问题

0

Python的编码问题 今天在测试一个程序的时候,出现了如下的错误: UnicodeEncodeError: 'gbk' codec can't encode character '\xdb' in position 0: ill egal multibyte sequence 又是编码的问题,所以不得不学习一下python的编码问题,而且将它搞明白的时候了。 一、背景知识 首先学习一下基础知识: ASCII 占1个字节,只支持英文 GB2312……

如何提取文章的关键词(Python版)

0

如何提取文章的关键词(Python版) 项目需求: 我们采集来的文章没有关键词,在发布的时候无法设定标签,我们通过代码自动提取出文章的关键词,达到对数据加工的目的。 测试环境: Anaconda Python3.5 Win7 ultmate(英文版) Excel 2013英文版本 用一百篇文章来测试。 一、使用snownlp(https://github.com/isnowfy/snownlp) 代码如下: import xlrd fr……

python3 range函数

0

python3 range函数 在paython3中,使用: print(range(10)) 命令得出的结果是 range(0,10) ,而不是[0,1,2,3,4,5,6,7,8,9] ,是什么原因呢? 官方是这样说的: In many ways the object returned by range() behaves as if it is a list, but in fact it isn’t. It is an object which returns the successive items of the desired seq……

Mezzanine试用备忘

0

Mezzanine试用备忘 一、安装mezzanine pip install mezzanine 执行这个命令之后,将会安装以下包: grappelli-safe, future, urllib3, chardet, idna, r equests, django, filebrowser-safe, django-contrib-comments, beautifulsoup4, pytz , tzlocal, six, webencodings, html5lib, bleach, oauthlib, requests-oauthlib, pil low, me……

采集安居客

0

采集安居客 今天采集https://chengdu.anjuke.com/community/p1/的时候,遭遇了反爬虫。 即使使用scrapy shell https://chengdu.anjuke.com/community/p1/也无法访问。

采集高德地图POI

0

采集高德地图POI 方法: 1.通过Python的urllib模块来处理网络请求和响应,向高德地图发送请求,并接收响应 2.高德地图的响应是xml文件,通过Python的DOM来解析xml,并保存POI数据 3.高德地图api使用说明,http://lbs.amap.com/api/webservice/reference/search/ 4.强调一点,如果需要使用api,必须向高德地图申请一个key,然后用你申请到……

Scrpy的第五个爬虫(爬取详细页面写入SQLite)

0

Scrpy的第五个爬虫(爬取详细页面写入SQLite) 学习目标: 掌握采集时翻页功能的实现。 掌握采集详细页面内容的方法 掌握运用Navicat可视化界面建立Sqlite数据库、数据表的方法。 掌握运用Scrapy从建立爬虫到写入Sqlite数据库的全部流程。 测试环境: win7 旗舰版 Python 3.5.2(Anaconda3 4.2.0 64-bit) 一、创建项目及爬虫 创建一个名为teachers的项目。并且在spid……

Scrpy的第四个爬虫(数据入库)

0

Scrpy的第四个爬虫(数据入库) 测试环境: win7 旗舰版 Python 2.7.14(Anaconda2 2 5.0.1 64-bit) 学习目标: 掌握利用Ipython的命令行模式新建Sqlite数据库、数据表的方法 掌握PyCharm关联Sqlite数据库的方法 Python中文乱码的解决方法 掌握将采集的数据插入Sqlite数据库的方法 一、新建项目 新建项目之后,用PYcharm打开这个项目。 二、撰写爬虫文……

Scrpy的第三个爬虫(抓取WordPress博客)

0

Scrpy的第三个爬虫(抓取WordPress博客) 学习目标: 学习获得下一篇文章的url的方法 利用“下一篇”功能抓取wordpress全部文章 测试环境: win7 旗舰版 Python 2.7.14(Anaconda2 2 5.0.1 64-bit) 一、创建项目 创建一个名为URLteam的项目。 二、设置Items.py 代码如下: # -*- coding:utf-8 -*- from scrapy.item import Item, Field class UrlteamIt……

Page: 62 of 85 1 ... 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 ... 85