一、抓取jobbole网站
1.scrapy调试
在项目根目录自己写一个main.py，调用命令行。
from scrapy.cmdline import execute
import sys
import os
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
execute(["scrapy","crawl","jobbole"])
并将settings.py中的robot……
今天发现使用Requests与Xpath还是挺搭的，而且配合chrome的xpath插件与scrapy shell，操作起来非常简单：
Updated:
其实可以使用浏览器的copy xpath功能。
附代码：
import requests
from lxml import etree
def getResult(i):
url = "http://www.xuetu123.com/space-uid-{}.html".format(i)
r = re……
一、知识点：
1.urljoin
response.urljoin()：将相对网址拼接成绝对网址。
比如：
url = response.body_as_unicode()
url = response.urljoin(url)
这样就能在url前拼接上https:
二、步骤
1.新建爬虫
scrapy startproject travalcity
cd travalcity
scrapy genspider travelspider travel.cn
2.新建Item ……
一、Python命名规则
二、正则
三、xpath用法：
这里的下标是从1开始的，不是0
第五章 scrapy爬虫框架
1. __init__.py文件，它是个空文件，作用是将它的上级目录变成了一个模块，，可以供python导入使用。
2. items.py决定抓取哪些项目，wuhanmoviespider.py决定怎么爬的，settings.py决定由谁去处理爬取的内容，p……
fiddler的操作非常简单，即开即用型，这里简单备注一下吧。
一、打开浏览器
二、清空原始数据
点击图标上的那个“X”，然后执行“remove all”功能。
三、访问网站
在刚刚打开的浏览器中输入网址，回车。
点击左边的任意一条记录，在右边窗格就会显示相关的信息。
四、查找数据
点击工具栏上的“find”按钮，可以设定查询条……
学习要点：
1、url拼接
2、通过xpath helper获得xpath路径
3、学习爬虫的整个流程
标记一下：
整理文章内文：
'/n'.join([p.text.strip() for p in soup.select('#artibody p')[:-1]])
一、创建项目
进入到要工作目录，执行scrapy startproject Tencent
二、创建爬虫
进入Tencent，再进入Tencent目录，运行以下命令……
今天采集https://chengdu.anjuke.com/community/p1/的时候，遭遇了反爬虫。
即使使用scrapy shell https://chengdu.anjuke.com/community/p1/也无法访问。
学习目标：
掌握采集时翻页功能的实现。
掌握采集详细页面内容的方法
掌握运用Navicat可视化界面建立Sqlite数据库、数据表的方法。
掌握运用Scrapy从建立爬虫到写入Sqlite数据库的全部流程。
测试环境：
win7 旗舰版
Python 3.5.2(Anaconda3 4.2.0 64-bit)
一、创建项目及爬虫
创建一个名为teachers的项目。并且在spid……
测试环境：
win7 旗舰版
Python 2.7.14(Anaconda2 2 5.0.1 64-bit)
学习目标：
掌握利用Ipython的命令行模式新建Sqlite数据库、数据表的方法
掌握PyCharm关联Sqlite数据库的方法
Python中文乱码的解决方法
掌握将采集的数据插入Sqlite数据库的方法
一、新建项目
新建项目之后，用PYcharm打开这个项目。
二、撰写爬虫文……
学习目标：
学习获得下一篇文章的url的方法
利用“下一篇”功能抓取wordpress全部文章
测试环境：
win7 旗舰版
Python 2.7.14(Anaconda2 2 5.0.1 64-bit)
一、创建项目
创建一个名为URLteam的项目。
二、设置Items.py
代码如下：
# -*- coding:utf-8 -*-
from scrapy.item import Item, Field
class UrlteamIt……
