一、start_requests方法
start_requests方法是启动爬虫时自动调用的方法，我们可以对其进改改写，比如让它变成post请求，并改变它的回调函数。
二、make_requests_from_url(url)
我们可以通过重写make_requests_from_url(url)，改变它的回调函数。
scrapy源码：
Scrpy使用代理IP及分布式
一、Scrpy使用代理IP
二、使用cookie
Scrpy的第八个爬虫慕课网（下载图片）
0
一、抓取jobbole网站
1.scrapy调试
在项目根目录自己写一个main.py，调用命令行。
from scrapy.cmdline import execute
import sys
import os
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
execute(["scrapy","crawl","jobbole"])
并将settings.py中的robot……
Requests与Xpath搭配（教程）
0
一、xpath教程
xpath是谷歌浏览器插件。
1.安装
在chrome浏览器打开settings，然后点击“Extensions”，搜索“xpath”即可以找到。
2.查找路径
其实可以使用浏览器的copy xpath功能，很多时候都可以找到自己所要的内容，不需要自己写代码。
二、代码
今天发现使用Requests与Xpath还是挺搭的，而且配合chrome的xpath插件与sc……
Scrpy的第七个爬虫Travelcity（调试及异步写入SQLite）
0
一、知识点：
1.urljoin
response.urljoin()：将相对网址拼接成绝对网址。
比如：
url = response.body_as_unicode()
url = response.urljoin(url)
这样就能在url前拼接上https:
二、步骤
1.新建爬虫
scrapy startproject travalcity
cd travalcity
scrapy genspider travelspider travel.cn
2.新建Item ……
《Python网络爬虫实战》笔记（Xpath）
0
一、Python命名规则
二、xpath用法：
这里的下标是从1开始的，不是0
抓取图片：
小技巧：
如果遇到]怎么办？
links = dom_tree.xpath("//a[@class='download']")#在xml中定位节点，返回的是一个列表
for index in range(len(links)):
# links[index]返回的是一个字典
if (index % 2) == 0:
……
fiddler教程（fiddler可以用来做什么）
0
fiddler的操作非常简单，即开即用型，这里简单备注一下吧。
一、打开浏览器
二、清空原始数据
点击图标上的那个“X”，然后执行“remove all”功能。
三、访问网站
在刚刚打开的浏览器中输入网址，回车。
点击左边的任意一条记录，在右边窗格就会显示相关的信息。
四、查找数据
点击工具栏上的“find”按钮，可以设定查询条……
Scrpy的第六个爬虫（爬取腾讯招聘）
0
学习要点：
1、url拼接
2、通过xpath helper获得xpath路径
3、学习爬虫的整个流程，绿色的箭头代表数据流。
标记一下：
整理文章内文：
'/n'.join([p.text.strip() for p in soup.select('#artibody p')[:-1]])
一、创建项目
进入到要工作目录，执行scrapy startproject Tencent
二、创建爬虫
进入Tencent，再进入Te……
采集安居客
0
今天采集https://chengdu.anjuke.com/community/p1/的时候，遭遇了反爬虫。
即使使用scrapy shell https://chengdu.anjuke.com/community/p1/也无法访问。
Scrpy的第五个爬虫（爬取详细页面写入SQLite）
0
学习目标：
掌握采集时翻页功能的实现。
掌握采集详细页面内容的方法
掌握运用Navicat可视化界面建立Sqlite数据库、数据表的方法。
掌握运用Scrapy从建立爬虫到写入Sqlite数据库的全部流程。
测试环境：
win7 旗舰版
Python 3.5.2(Anaconda3 4.2.0 64-bit)
一、创建项目及爬虫
创建一个名为teachers的项目。并且在spid……