11,01,2018
|
dengwen168 |
方法：
1.通过Python的urllib模块来处理网络请求和响应，向高德地图发送请求，并接收响应
2.高德地图的响应是xml文件，通过Python的DOM来解析xml，并保存POI数据
3.高德地图api使用说明，http://lbs.amap.com/api/webservice/reference/search/
4.强调一点，如果需要使用api，必须向高德地图申请一个key，然后用你申请到的Key替换掉url_amap变量中的YOURKEY
亲测可用！
高德地图POI分类编码和城市编码表的 ...
09,01,2018
|
dengwen168 |
今天实践了利用Navicat往Modoer添加数据的功能。
一、首先，需要先添加几条数据，以弄清它在数据库中究竟改写了哪几个字段。
二、在Navicat中打开需要导入数据的数据表，点击“导出”按钮，在弹出的对话框中，选择“当前10条记录”，然后选择“Excel数据表”，导出一个数据表，用来作以后的导入用。
三、打开步骤二生成的数据表，依据每一个字段，填充每一个字段的值。
四、在需要导入数据的数据表上单击右键， ...
09,01,2018
|
dengwen168 |
今天打开本地的XAMPP平台的MySql数据库，发现显示的是乱码。
按照网上的教程，将Navicat的连接属性设置为"65001（utf-8)"，不行！
再将数据库的属性设置为“uft8 -- UFT-8 Unicode”（如下图所示），还是不行！
还有说要修改mysql/bin安装目录下my.ini文件，修改character_set_server为utf8，可是我打开的电脑上的my.ini文件，它已经是“character_set_server=utf8”了。
最后我的解决方案是，将Navicat的连 ...
01,01,2018
|
dengwen168 |
最开始是在论坛看到有人推荐Process Monitor，后来又在《练手之经典病毒熊猫烧香分析》这篇文章中看到作者使用这一款工具，今天自己试用了这个软件，作文Mark一下。
一、进程树
点击工具栏如下图标，可以查看进程树，可以很清楚看到历史上哪些进程属于哪个父进程。注意这里是历史记录也就是他消失了也能看到。所以还是有很有用。
二、过滤功能
只有显示写入文件的日志，一目了然
三、瞄准枪
当我们要监 ...
28,12,2017
|
dengwen168 |
学习目标：
掌握采集时翻页功能的实现。
掌握采集详细页面内容的方法
掌握运用Navicat可视化界面建立Sqlite数据库、数据表的方法。
掌握运用Scrapy从建立爬虫到写入Sqlite数据库的全部流程。
测试环境：
win7 旗舰版
Python 3.5.2(Anaconda3 4.2.0 64-bit)
一、创建项目及爬虫
创建一个名为teachers的项目。并且在spiders下面使用下面的命令新建一个teacher.py文件。
scrapy genspider teacher http: ...
25,12,2017
|
dengwen168 |
自己的博客以前被别人镜像过，当时觉得这技术很神奇。今天在某论坛找到一个镜像程序，晚上花时间测试了一下，原来也就是这么一回事。
镜像程序并没有多大，打包成rar才380多K，我先是在本地的Xampp环境下测试，老是不成功。于是撸了一个西部数码的试用主机，后来测试成功了。
下面是镜像某人的博客（仅作测试用）
说一下中间的过程吧，以免以后遗忘：
一、在本地测试的时候，打开首页的时候出错，而且感 ...
23,12,2017
|
dengwen168 |
测试环境：
win7 旗舰版
Python 2.7.14(Anaconda2 2 5.0.1 64-bit)
学习目标：
掌握利用Ipython的命令行模式新建Sqlite数据库、数据表的方法
掌握PyCharm关联Sqlite数据库的方法
Python中文乱码的解决方法
掌握将采集的数据插入Sqlite数据库的方法
一、新建项目
新建项目之后，用PYcharm打开这个项目。
二、撰写爬虫文件
在spider文件夹下面新建一个ganji.py文件，
输入以下代码：
import scrapy
...
21,12,2017
|
dengwen168 |
学习目标：
学习获得下一篇文章的url的方法
利用“下一篇”功能抓取wordpress全部文章
测试环境：
win7 旗舰版
Python 2.7.14(Anaconda2 2 5.0.1 64-bit)
一、创建项目
创建一个名为URLteam的项目。
二、设置Items.py
代码如下：
# -*- coding:utf-8 -*-
from scrapy.item import Item, Field
class UrlteamItem(Item):
article_name = Field()
article_url = Field()
三、设置 ...
20,12,2017
|
dengwen168 |
学习目标：
通过抓取一个博客的标题，进一步了解利用Scrapy抓取数据的流程
测试环境：
win7 旗舰版
Python 2.7.14(Anaconda2 2 5.0.1 64-bit)
一、创建项目
进入“Anaconda Prompt”的窗口，输入以下命令：
scrapy startproject scrapyspider
二、编写第一个爬虫(Spider)
在scrapyspider/spiders目录下建立一个名为blog_spider.py的文件。
输入以下代码：
from scrapy.spiders import Spider
...
18,12,2017
|
dengwen168 |
一、Wordpress启用新模板导致网站无法访问的问题
有一次在Wordpress后台启用一个新的模板之后，可能是模板的版本与Wordpress版本不兼容的原因，出错了，结果网站无法打开，网站后台也无法进入。
解决方案：利用FTP登陆后台，进入到网站的/wp-content/themes文件夹下面，删除这个模板的文件夹（重命名应该也可以，请自己尝试）。
然后就可以进入Wordpress的后台了，进入后台之后，将模板换成原来可以正常工 ...
Page: 99 of 196 1 ...
97 98 99 100 101 ...
196
