一、抓取jobbole网站
1.scrapy调试
在项目根目录自己写一个main.py，调用命令行。
from scrapy.cmdline import execute
import sys
import os
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
execute(["scrapy","crawl","jobbole"])
并将settings.py中的robot……
一、xpath教程
xpath是谷歌浏览器插件。
1.安装
在chrome浏览器打开settings，然后点击“Extensions”，搜索“xpath”即可以找到。
2.查找路径
其实可以使用浏览器的copy xpath功能，很多时候都可以找到自己所要的内容，不需要自己写代码。
二、代码
今天发现使用Requests与Xpath还是挺搭的，而且配合chrome的xpath插件与sc……
一、知识点：
1.urljoin
response.urljoin()：将相对网址拼接成绝对网址。
比如：
url = response.body_as_unicode()
url = response.urljoin(url)
这样就能在url前拼接上https:
二、步骤
1.新建爬虫
scrapy startproject travalcity
cd travalcity
scrapy genspider travelspider travel.cn
2.新建Item ……
一、Python命名规则
二、正则
1.几个使用正则的实例
比如：要从“共200页，到第', '页”里面取出200这个数字，
pagenum=re.findall(r'\d',str) #取到的是一个列表['5', '0', '0']
pagenum=re.sub(r'\D','',str) #取的是500这个数字。即将所有非数字替换成空格
例子：
replacedStr = re.sub("\d+", &……
fiddler的操作非常简单，即开即用型，这里简单备注一下吧。
一、打开浏览器
二、清空原始数据
点击图标上的那个“X”，然后执行“remove all”功能。
三、访问网站
在刚刚打开的浏览器中输入网址，回车。
点击左边的任意一条记录，在右边窗格就会显示相关的信息。
四、查找数据
点击工具栏上的“find”按钮，可以设定查询条……
学习要点：
1、url拼接
2、通过xpath helper获得xpath路径
3、学习爬虫的整个流程
标记一下：
整理文章内文：
'/n'.join([p.text.strip() for p in soup.select('#artibody p')[:-1]])
一、创建项目
进入到要工作目录，执行scrapy startproject Tencent
二、创建爬虫
进入Tencent，再进入Tencent目录，运行以下命令……
今天采集https://chengdu.anjuke.com/community/p1/的时候，遭遇了反爬虫。
即使使用scrapy shell https://chengdu.anjuke.com/community/p1/也无法访问。
学习目标：
掌握采集时翻页功能的实现。
掌握采集详细页面内容的方法
掌握运用Navicat可视化界面建立Sqlite数据库、数据表的方法。
掌握运用Scrapy从建立爬虫到写入Sqlite数据库的全部流程。
测试环境：
win7 旗舰版
Python 3.5.2(Anaconda3 4.2.0 64-bit)
一、创建项目及爬虫
创建一个名为teachers的项目。并且在spid……
测试环境：
win7 旗舰版
Python 2.7.14(Anaconda2 2 5.0.1 64-bit)
学习目标：
掌握利用Ipython的命令行模式新建Sqlite数据库、数据表的方法
掌握PyCharm关联Sqlite数据库的方法
Python中文乱码的解决方法
掌握将采集的数据插入Sqlite数据库的方法
一、新建项目
新建项目之后，用PYcharm打开这个项目。
二、撰写爬虫文……
学习目标：
学习获得下一篇文章的url的方法
利用“下一篇”功能抓取wordpress全部文章
测试环境：
win7 旗舰版
Python 2.7.14(Anaconda2 2 5.0.1 64-bit)
一、创建项目
创建一个名为URLteam的项目。
二、设置Items.py
代码如下：
# -*- coding:utf-8 -*-
from scrapy.item import Item, Field
class UrlteamIt……
