Mezzanine试用备忘

0
一、安装mezzanine pip install mezzanine 执行这个命令之后,将会安装以下包: grappelli-safe, future, urllib3, chardet, idna, r equests, django, filebrowser-safe, django-contrib-comments, beautifulsoup4, pytz , tzlocal, six, webencodings, html5lib, bleach, oauthlib, requests-oauthlib, pil low, mezzanine 再执行: mezzanine-project myproject cd myproject 二、建立数 ...

采集安居客

0
今天采集https://chengdu.anjuke.com/community/p1/的时候,遭遇了反爬虫。 即使使用scrapy shell https://chengdu.anjuke.com/community/p1/也无法访问。

Vmware workstation安装ubuntu备忘

1
今天,终于在自己的电脑IBM T420上,利用Vmware workstation将ubuntu安装成功。 一、之前第一次安装的时候,在安装过程中就遇到了问题,其中有一步是进入“编辑虚拟机设置”,可是我点了却进不去,原来要求电脑具有虚拟化支持能力。 后来将“Intel Virtualization Technology”(英特尔虚拟化技术 )设定为开启才解决。 二、由于屏幕分辨率的原因,在安装的时候,“确认”、“取消”按钮跑到屏幕外面去了,根本看 ...

采集高德地图POI

1
方法: 1.通过Python的urllib模块来处理网络请求和响应,向高德地图发送请求,并接收响应 2.高德地图的响应是xml文件,通过Python的DOM来解析xml,并保存POI数据 3.高德地图api使用说明,http://lbs.amap.com/api/webservice/reference/search/ 4.强调一点,如果需要使用api,必须向高德地图申请一个key,然后用你申请到的Key替换掉url_amap变量中的YOURKEY 亲测可用! 高德地图POI分类编码和城市编码表的 ...

Modoer软件操作备忘

0
今天实践了利用Navicat往Modoer添加数据的功能。 一、首先,需要先添加几条数据,以弄清它在数据库中究竟改写了哪几个字段。 二、在Navicat中打开需要导入数据的数据表,点击“导出”按钮,在弹出的对话框中,选择“当前10条记录”,然后选择“Excel数据表”,导出一个数据表,用来作以后的导入用。 三、打开步骤二生成的数据表,依据每一个字段,填充每一个字段的值。 四、在需要导入数据的数据表上单击右键, ...

Navicat中的MySql数据库乱码的解决方案

0
今天打开本地的XAMPP平台的MySql数据库,发现显示的是乱码。 按照网上的教程,将Navicat的连接属性设置为"65001(utf-8)",不行! 再将数据库的属性设置为“uft8 -- UFT-8 Unicode”(如下图所示),还是不行! 还有说要修改mysql/bin安装目录下my.ini文件,修改character_set_server为utf8,可是我打开的电脑上的my.ini文件,它已经是“character_set_server=utf8”了。 最后我的解决方案是,将Navicat的连 ...

Process Monitor教程

0
最开始是在论坛看到有人推荐Process Monitor,后来又在《练手之经典病毒熊猫烧香分析》这篇文章中看到作者使用这一款工具,今天自己试用了这个软件,作文Mark一下。 一、进程树 点击工具栏如下图标,可以查看进程树,可以很清楚看到历史上哪些进程属于哪个父进程。注意这里是历史记录也就是他消失了也能看到。所以还是有很有用。 二、过滤功能 只有显示写入文件的日志,一目了然 三、瞄准枪 当我们要监 ...

自建梯子的流程

2
今天某人花了不到一小时的时间,建立了自己梯子。 到virmach购买一个$1.00 USD/月的VPS,配置如下: • 192MB RAM • 10GB Disk • 250GB Bandwith @ 1 Gbps • Shared Intel HT CPU 1 Core @ 1GHz • 1x IPv4 Addresses 年付加上7折的优惠码,实际只需要付款$7。记住选择VPS所在地时,最好选择美国西海岸的。 然后百度到了秋水逸冰的博客,用SecureCRT连接,按上面的提示,需要三行命令就弄好了。 不过将客户 ...

Scrpy的第五个爬虫(爬取详细页面)

1
学习目标: 掌握采集时翻页功能的实现。 掌握采集详细页面内容的方法 掌握运用Navicat可视化界面建立Sqlite数据库、数据表的方法。 掌握运用Scrapy从建立爬虫到写入Sqlite数据库的全部流程。 测试环境: win7 旗舰版 Python 3.5.2(Anaconda3 4.2.0 64-bit) 一、创建项目及爬虫 创建一个名为teachers的项目。并且在spiders下面使用下面的命令新建一个teacher.py文件。 scrapy genspider teacher http: ...