21,02,2021
|
dengwen168 |
一、百度
https://www.baidu.com/s?wd=%E6%87%92%E4%BA%BA%E7%A8%8B%E5%BA%8F&rsv_bp=0&ch=&tn=json&bar=&rsv_spt=3&ie=utf-8&rsv_sug3=3&rsv_sug=0&rsv_sug1=2&rsv_sug4=161&inputT=1793
简化版本:
https://www.baidu.com/s?wd=%E6%96%B0%E4%BF%A1%E6%81%AF&pn=50&rn=50&tn=json
参数说明:
wd:关键词
pn : 查询偏移位置
rn: 每页显示多少条,默认为10条,最多50条
移动端:
http://m.baidu.com/sf/v ...
21,02,2021
|
dengwen168 |
一、cookie
(一)找到cookie
在firefox浏览器中,按“F12”,再点击“存储”,再点击左边的cookie,就可以看到当前网站的cookie。
不过cookie中的信息有许多,其实当中许多信息是可要可不要的,尝试将一部分信息删除,如果网站还能正常访问,那么就可以确认这部分信息是可要可不要的。经过测试,发现以下两项信息是必须的:
(二)cookie的有效期
当前时间为Feb-21-2021,cookie的过期时间为Aug-19-2021,那么 ...
19,02,2021
|
dengwen168 |
一、查看方法
按F12,点击“存储”
19,02,2021
|
dengwen168 |
一、Scrpy使用代理IP
二、使用cookie
13,02,2021
|
dengwen168 |
产生流量的来源关键词60%~70%都是有规律可循。所以我强烈的认为,挖掘关键词的本质是为了找到这种规律,然后快速的制造大量的、较优质的页面。
对于没规律的词咋办?搜索量高就留着人工编辑做专题,如:“住房公积金如何提取”;至于没搜索量的,直接删掉。
有规律的关键词基本就3种:“{词前缀}..+词根+..{词后缀}” 、“{词前缀}..+词根” 、“词根+..{词后缀}” ,如何快速准确的从挖掘的关键词中找到这种规律 ...
13,02,2021
|
dengwen168 |
采集内容上线逻辑
有基友问采集的内容怎么分类,抓取的词怎么分类。其实很简单,做个小网站就都明白了,本渣渣在此科普下
采集内容清洗后是要入库的,入库就得有逻辑,所以在采集一开始就得想到这点,并设计采集到上线的流程
每个站点情况都不一样,但最最基础的模式类似下面这种:
确定要做的主题,从这个主题里选几个词根,一个词根或几个词根就代表一个内容分类
用词跟去扩展,挖出要做的流 ...
13,02,2021
|
dengwen168 |
一、csv
@@@@ 写入并生成csv文件 @@@@
# coding: utf-8
import csv
csvfile = file('csv_test.csv', 'wb')
writer = csv.writer(csvfile)
writer.writerow(['姓名', '年龄', '电话'])
data = [
('小河', '25', '1234567'),
('小芳', '18', '789456')]
writer.writerows(data)
csvfile.close()
@@@@ 读取csv文件 @@@@
# coding: utf-8
import csv
csvfile = file('csv ...
13,02,2021
|
dengwen168 |
一、原理
1.先把一篇文章,按逗号分隔成一个一个句子。(有点缺陷,比如如果句子中是冒号,分号,它认为是一句话。)
2.然后计算每个短语的字数,取字数最多的两句话。
3.拿上面两句话去百度搜索,并分别计算每句话在百度第一页搜索结果中的次数,然后加总。出现次数最少的文章,我们认为它的原创性要高一些。
因为若一个文章被其他网站大量转载,那么随便提取该文章中一个短语,都能在百度搜索出完全重复 ...
13,02,2021
|
dengwen168 |
一、代码
import requests,bs4,csv,os,re,time
'''采集商品url'''
def shopifylist(url):
while True:
try:
res=requests.get(url,timeout=30)
res.encoding = res.apparent_encoding
print('请求',url,'状态',res.status_code)
res.raise_for_status()#如果返回状态不是200,则抛出异常
break
except:
...
01,02,2021
|
dengwen168 |
无户口有房产
没有广州户口,即使在广州有房,也是不能在广州读公办学校的,可以通过积分入学、交赞助费、入户广州——入个人户的方式读公办学校。
那户口和房产,哪个更重要呢?
1.幼升小
学位房和广州户口都很重要。
符合“人户一致”的原则,就能对口入读小学,一般都能入读自己满意的学校。当然如前文所说的,有户口没房或“人户不一致”也能统筹入学,至于学校能不能让自己满意就说不定了。
2.小升初
目前 ...
Page: 78 of 229 1 ...
76 77 78 79 80 ...
229