28,12,2017
|
dengwen168 |
学习目标：
掌握采集时翻页功能的实现。
掌握采集详细页面内容的方法
掌握运用Navicat可视化界面建立Sqlite数据库、数据表的方法。
掌握运用Scrapy从建立爬虫到写入Sqlite数据库的全部流程。
测试环境：
win7 旗舰版
Python 3.5.2(Anaconda3 4.2.0 64-bit)
一、创建项目及爬虫
创建一个名为teachers的项目。并且在spiders下面使用下面的命令新建一个teacher.py文件。
scrapy genspider teacher http: ...
25,12,2017
|
dengwen168 |
自己的博客以前被别人镜像过，当时觉得这技术很神奇。今天在某论坛找到一个镜像程序，晚上花时间测试了一下，原来也就是这么一回事。
镜像程序并没有多大，打包成rar才380多K，我先是在本地的Xampp环境下测试，老是不成功。于是撸了一个西部数码的试用主机，后来测试成功了。
下面是镜像某人的博客（仅作测试用）
说一下中间的过程吧，以免以后遗忘：
一、在本地测试的时候，打开首页的时候出错，而且感 ...
23,12,2017
|
dengwen168 |
测试环境：
win7 旗舰版
Python 2.7.14(Anaconda2 2 5.0.1 64-bit)
学习目标：
掌握利用Ipython的命令行模式新建Sqlite数据库、数据表的方法
掌握PyCharm关联Sqlite数据库的方法
Python中文乱码的解决方法
掌握将采集的数据插入Sqlite数据库的方法
一、新建项目
新建项目之后，用PYcharm打开这个项目。
二、撰写爬虫文件
在spider文件夹下面新建一个ganji.py文件，
输入以下代码：
import scrapy
...
21,12,2017
|
dengwen168 |
学习目标：
学习获得下一篇文章的url的方法
利用“下一篇”功能抓取wordpress全部文章
测试环境：
win7 旗舰版
Python 2.7.14(Anaconda2 2 5.0.1 64-bit)
一、创建项目
创建一个名为URLteam的项目。
二、设置Items.py
代码如下：
# -*- coding:utf-8 -*-
from scrapy.item import Item, Field
class UrlteamItem(Item):
article_name = Field()
article_url = Field()
三、设置 ...
20,12,2017
|
dengwen168 |
学习目标：
通过抓取一个博客的标题，进一步了解利用Scrapy抓取数据的流程
测试环境：
win7 旗舰版
Python 2.7.14(Anaconda2 2 5.0.1 64-bit)
一、创建项目
进入“Anaconda Prompt”的窗口，输入以下命令：
scrapy startproject scrapyspider
二、编写第一个爬虫(Spider)
在scrapyspider/spiders目录下建立一个名为blog_spider.py的文件。
输入以下代码：
from scrapy.spiders import Spider
...
18,12,2017
|
dengwen168 |
一、Wordpress启用新模板导致网站无法访问的问题
有一次在Wordpress后台启用一个新的模板之后，可能是模板的版本与Wordpress版本不兼容的原因，出错了，结果网站无法打开，网站后台也无法进入。
解决方案：利用FTP登陆后台，进入到网站的/wp-content/themes文件夹下面，删除这个模板的文件夹（重命名应该也可以，请自己尝试）。
然后就可以进入Wordpress的后台了，进入后台之后，将模板换成原来可以正常工 ...
17,12,2017
|
dengwen168 |
在SEO早期，时常会出现强奸百度的情况，这么多年过去了，没想到现在强奸百度还是这么容易！
先看几张图吧：
一、先来看看mnvbox.com
2017年06月20日注册，到现在刚好半年时间，百度权重就已经到6了。
同时，这个网站给用户呈现的和给搜索引擎呈现的是不同的内容。
用户看到的是这样的：
搜索引擎看到的是这样的：
上面显示反链1万多，可是都是来自自己这个域名。
17,12,2017
|
dengwen168 |
今天新上了一个网站，由于今年MIP比较火，所以打算将这个网站改造成MIP。
在网上看到改造的方法有两种：
1.UA插件
UA插件推荐：Any Mobile Theme Switcher
UA插件可以简单的理解为是通过判断网站访问用户的UA信息，然后来显示不同的WordPress主题。
2.独立域名插件
独立域名插件推荐：Domain Theme
通过该插件设置添加独立的域名绑定，并且指定为MIP主题，同时还需要将你绑定的这个域名解析绑定在你现在 ...
11,12,2017
|
dengwen168 |
首先，你要下载一个能自动交易的软件，（目前雷凯还没开发成功）——我用的是文华8模拟版
其次，你要学习自己编写外挂程序（AU3）。
国内的三大程序化运营商，TB、文华财经、金字塔（博易大师）。
案例：http://www.lktz.com/thread-87542-1-1.html
花探长说的：
研究这个东西吧，保证你终身受用，跑赢99%以上的交易者
http://www.vnpy.org/
11,12,2017
|
dengwen168 |
今天试用了交易开拓者（TradeBlazer），记一下自编写公式的指南，以备后查。
一、打开新建公式窗口
单击左边导航栏的“新建公式应用”，在弹出的对话框中，输入公式的简称，名称，注释等，点击“确定”按钮。
二、编写公式
在弹出的“公式编辑器”中，输入你的公式，下面是一个自定义的双均线的交易系统。
输入完之后，点击上方工具栏上的“编译”按钮，当下方出现“成功保存当前公式信息”的提示时，意味着程序编 ...
