Scrpy的第五个爬虫(爬取详细页面)

1
学习目标: 掌握采集时翻页功能的实现。 掌握采集详细页面内容的方法 掌握运用Navicat可视化界面建立Sqlite数据库、数据表的方法。 掌握运用Scrapy从建立爬虫到写入Sqlite数据库的全部流程。 测试环境: win7 旗舰版 Python 3.5.2(Anaconda3 4.2.0 64-bit) 一、创建项目及爬虫 创建一个名为teachers的项目。并且在spiders下面使用下面的命令新建一个teacher.py文件。 scrapy genspider teacher http: ...

如何镜像一个网站

0
自己的博客以前被别人镜像过,当时觉得这技术很神奇。今天在某论坛找到一个镜像程序,晚上花时间测试了一下,原来也就是这么一回事。 镜像程序并没有多大,打包成rar才380多K,我先是在本地的Xampp环境下测试,老是不成功。于是撸了一个西部数码的试用主机,后来测试成功了。 下面是镜像某人的博客(仅作测试用) 说一下中间的过程吧,以免以后遗忘: 一、在本地测试的时候,打开首页的时候出错,而且感 ...

Scrpy的第四个爬虫(数据入库)

0
测试环境: win7 旗舰版 Python 2.7.14(Anaconda2 2 5.0.1 64-bit) 学习目标: 掌握利用Ipython的命令行模式新建Sqlite数据库、数据表的方法 掌握PyCharm关联Sqlite数据库的方法 Python中文乱码的解决方法 掌握将采集的数据插入Sqlite数据库的方法 一、新建项目 新建项目之后,用PYcharm打开这个项目。 二、撰写爬虫文件 在spider文件夹下面新建一个ganji.py文件, 输入以下代码: import scrapy ...

Scrpy的第三个爬虫(抓取WordPress博客)

0
学习目标: 学习获得下一篇文章的url的方法 利用“下一篇”功能抓取wordpress全部文章 测试环境: win7 旗舰版 Python 2.7.14(Anaconda2 2 5.0.1 64-bit) 一、创建项目 创建一个名为URLteam的项目。 二、设置Items.py 代码如下: # -*- coding:utf-8 -*- from scrapy.item import Item, Field class UrlteamItem(Item): article_name = Field() article_url = Field() 三、设置 ...

Scrpy的第二个爬虫(爬取博客)

0
学习目标: 通过抓取一个博客的标题,进一步了解利用Scrapy抓取数据的流程 测试环境: win7 旗舰版 Python 2.7.14(Anaconda2 2 5.0.1 64-bit) 一、创建项目 进入“Anaconda Prompt”的窗口,输入以下命令: scrapy startproject scrapyspider 二、编写第一个爬虫(Spider) 在scrapyspider/spiders目录下建立一个名为blog_spider.py的文件。 输入以下代码: from scrapy.spiders import Spider ...

WordPress备忘

0
一、Wordpress启用新模板导致网站无法访问的问题 有一次在Wordpress后台启用一个新的模板之后,可能是模板的版本与Wordpress版本不兼容的原因,出错了,结果网站无法打开,网站后台也无法进入。 解决方案:利用FTP登陆后台,进入到网站的/wp-content/themes文件夹下面,删除这个模板的文件夹(重命名应该也可以,请自己尝试)。 然后就可以进入Wordpress的后台了,进入后台之后,将模板换成原来可以正常工 ...

强奸百度

0
在SEO早期,时常会出现强奸百度的情况,这么多年过去了,没想到现在强奸百度还是这么容易! 先看几张图吧: 一、先来看看mnvbox.com 2017年06月20日注册,到现在刚好半年时间,百度权重就已经到6了。 同时,这个网站给用户呈现的和给搜索引擎呈现的是不同的内容。 用户看到的是这样的: 搜索引擎看到的是这样的: 上面显示反链1万多,可是都是来自自己这个域名。  

WordPress网站MIP改造备忘

0
今天新上了一个网站,由于今年MIP比较火,所以打算将这个网站改造成MIP。 在网上看到改造的方法有两种: 1.UA插件 UA插件推荐:Any Mobile Theme Switcher UA插件可以简单的理解为是通过判断网站访问用户的UA信息,然后来显示不同的WordPress主题。 2.独立域名插件 独立域名插件推荐:Domain Theme 通过该插件设置添加独立的域名绑定,并且指定为MIP主题,同时还需要将你绑定的这个域名解析绑定在你现在 ...

雷凯程序化交易的思路

1
首先,你要下载一个能自动交易的软件,(目前雷凯还没开发成功)——我用的是文华8模拟版 其次,你要学习自己编写外挂程序(AU3)。 国内的三大程序化运营商,TB、文华财经、金字塔(博易大师)。 案例:http://www.lktz.com/thread-87542-1-1.html 花探长说的: 研究这个东西吧,保证你终身受用,跑赢99%以上的交易者 http://www.vnpy.org/

交易开拓者(TradeBlazer)上手指南

0
今天试用了交易开拓者(TradeBlazer),记一下自编写公式的指南,以备后查。 一、打开新建公式窗口 单击左边导航栏的“新建公式应用”,在弹出的对话框中,输入公式的简称,名称,注释等,点击“确定”按钮。 二、编写公式 在弹出的“公式编辑器”中,输入你的公式,下面是一个自定义的双均线的交易系统。 输入完之后,点击上方工具栏上的“编译”按钮,当下方出现“成功保存当前公式信息”的提示时,意味着程序编 ...