关于互联网上七大姑，八大姨的一些九卦。
一、抓取jobbole网站
1.scrapy调试
在项目根目录自己写一个main.py，调用命令行。
from scrapy.cmdline import execute
import sys
import os
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
execute(["scrapy","crawl","jobbole"])
并将settings.py中的robot……
之前一直用virtualenv，今天在听慕课网视频的时候，老师推荐pipenv，在网上一查，很多人都推荐这个，于是就试用了一下。
我觉得讲得好的还是刘江的博客及教程：http://liujiangblog.com/blog/18/
比如：
我从github上面下载了别人的项目，里面已经有了Pipfile和Pipfile.lock文件，则使用pipenv install会使用pipfile文件……
一、xpath教程
xpath是谷歌浏览器插件。
1.安装
在chrome浏览器打开settings，然后点击“Extensions”，搜索“xpath”即可以找到。
2.查找路径
其实可以使用浏览器的copy xpath功能，很多时候都可以找到自己所要的内容，不需要自己写代码。
二、代码
今天发现使用Requests与Xpath还是挺搭的，而且配合chrome的xpath插件与sc……
一、待仿的模板
https://www.chinactp.org/
待学的前端
http://video.mobiletrain.org/Course/index/courseId/716
前12个已经OK。
二、自己折腾的一个模板：
效果预览：
代码：
<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<meta na……
一、知识点：
1.urljoin
response.urljoin()：将相对网址拼接成绝对网址。
比如：
url = response.body_as_unicode()
url = response.urljoin(url)
这样就能在url前拼接上https:
二、步骤
1.新建爬虫
scrapy startproject travalcity
cd travalcity
scrapy genspider travelspider travel.cn
2.新建Item ……
一.安装django
直接看这里
在settings.py中的apps中添加刚刚建立的app
二.建立一个数据库，名称为stock
三、修改settings.py
INSTALLED_APPS = [
'django.contrib.admin',
'django.contrib.auth',
'django.contrib.contenttypes',
'django.contrib.sessions',
'django.contrib.messages',
……
一、Python命名规则
二、xpath用法：
这里的下标是从1开始的，不是0
抓取图片：
小技巧：
如果遇到]怎么办？
links = dom_tree.xpath("//a[@class='download']")#在xml中定位节点，返回的是一个列表
for index in range(len(links)):
# links[index]返回的是一个字典
if (index % 2) == 0:
……
这次尝试在服务器上使用宝塔，这样不但部署django网站比较简单，还可以同时使用django和wordpress。
一.安装宝塔及插件
（1）安装宝塔
在宝塔官网看到说“务必使用centos7.x 系统”，所以我不得不放弃以前用得比较熟的ubuntu系统。
yum -y install tmux
#美国节点安装
yum install -y wget && wget -O instal……
既然用现有的源码无法搭建，那就自己写吧。
一、环境搭配
这个不多说了，和以前一样。按这里操作，一直到可以显示django首页就可以了。
用pycharm打开项目，然后配置虚拟环境：
File -- Setting -- Project Interpreter -- Show all -- add
其实配置好之后，这里可以显示已经安装的包
二、django-allauth同时实现本……
待处理文本：
郭富城方发声明否认炒作，真的是这样吗？我发布了头条文章：《罗生门：六小龄童上春晚究竟谁炒作？从这开8并怀念当年那美好的西游》
除夕还剩几天时间，这几天“猴哥”#六小龄童#突然成为网络热搜词，朋友圈全是“帮猴哥上春晚”的帖子。在充当“自来水”的同时，有人开始反思，“大圣”热闹上春晚话题是不是一种“……
