18 天 前
|
dengwen168 |
本文知识点：
1、复习了类的写法。
2、复习了scrapy先大范围取数，然后for循环取每一个item的用法。取大范围值的时候，在python中print不出来也没有问题，比如本文中的node_list，for循化中可以取出就可以了。
3、学习了写入Mysql时自动生成时间的方法。
4、学习了xpaht中的“.//”、“./”的写法。
5. Mysql避免数据重复插入的方法。
一、正则
折腾了一个早上，发现原来是目标网页的问题：http://rank.chinaz ...
18 天 前
|
dengwen168 |
今天无意中发现了一个日IP3万+的个人网站，而且是采集站，不过毕竟牵涉到别人的操作手法问题，所以文章就不公开了。
首先看一下成果吧！
一、注册时间
有6年了，不是新站。
不过没有查看archive。
二、聚合页
然后他也做了许多的聚合页。不过打开他的聚合页里面的标题，不是跳到另外一个聚合页面，而是指向的真实的网站页面，不过是嵌套在他自己的网页框架里面的。
奇怪的是他的网站还用了这样的形式。 ...
19 天 前
|
dengwen168 |
一、对数据的估计
假设10万张图片，每张图片平均50k，那么：
10万*1024k/20 = 10万M /20 = 10万/1024 /20 = 5G
与百度出来的结果一样：
1(gb)=1048576(kb)
1048576/50=20971 即1GB可以存放约2万张50k的图片。
看看阿里云轻量级服务器：
二、可参考模板
首页：https://www.meituan.com/
城市首页：
https://gz.meituan.com/
城市里面分类的列表页：
https://www.meituan.com/list/pn2/
https://anlushi.m ...
19 天 前
|
dengwen168 |
发现之前自己用的一款定时发布草稿箱中文章的插件：Drafts Scheduler在wordpress后台竟然搜索不到了。没办法，只好重新找一款新的。后来在wordpress搜索，找到了一款最近还在更新的插件。
一、Auto Post Scheduler
最后用了这款，亲测可用。
其实关键是设定好下面这几个地方：
然后点一下那个“enable Auto Post Scheduler”就可以了。
二、
看网上还有人推荐了一款publish to schedule，不过暂时没有测试。
20 天 前
|
dengwen168 |
一、汉字转拼音
import xlrd
import xlwt
import pypinyin
def hp(word):
s = ''
for i in pypinyin.pinyin(word, style=pypinyin.NORMAL):
s += ''.join(i)
return s
#读取文件
workbook = xlrd.open_workbook(r'city.xlsx')
sheet2 = workbook.sheet_by_index(0) # sheet索引从0开始
#写文件
file = xlwt.Workbook()
table = file.add_sheet('info', cell_o ...
20 天 前
|
dengwen168 |
一、图片问题
注意，发布图片的时候，需要在后台将网址的固定链接改成如下的形式，否则图片会无法显示。在文章页中也显示http://www.xxx.com/2008/03/xx.jpg这样的形式。
二、关于重复文章
wordpress文章标题重复，是可以发布成功的。
三、关于目录
目录不需要提前建立，在wordpress xmlprc发布的时候直接输入目录名称，就可以自动生成目录。而且第二次可以输入同样的目录名称就发布到同一目录下面了。
...
21 天 前
|
dengwen168 |
1、疑问
读了我的《如何高效实践卡片式写作？》之后，有读者提出了疑问：
王老师，你所描述的卡片式写作，看来写篇博客或者写部小说，应该还可以。用来写学术论文不合适吧？
其观点的理据，在于学术论文往往是标准体例，分割划块的。
例如 Clayton Bingham 博士就在他的 Quora 问答里面给出了这张图。
蜗牛博客补充实例：
虽然不同学科，模块划分传统不尽相同，不过主体上大概也就是下面这几部分：
...
22 天 前
|
dengwen168 |
一、修改模板
问题：发现网站在百度显示的所有标题都是“xx网__详情页”，seo非常不友好。于是今天想着作一下更改。之前拖延症犯了，一直没有弄，今天弄了一下，其实几分钟就好了。
1.本地修改模板文件。
2.用xshell将文件上传。
路径是/home/server/py/zanhu.
3.在宝塔里面重启服务。
4.刷新页面，发现已经成功了。
22 天 前
|
dengwen168 |
bifinex的订单号：
def _gen_unqiue_cid(self):
self.order_id += 1
local_oid = time.strftime("%y%m%d") + str(self.order_id)
return int(local_oid)
def send_order(self, req: OrderRequest):
orderid = self._gen_unqiue_cid()
if req.direction == Direction.LONG:
amount = req.volume
else:
...
02,03,2020
|
dengwen168 |
今天在手机上看期货行情，发现自己的策略竟然没有成交，开始还以为自己记错了参数，下班后一检查，发现出问题了。
这个策略应该是从今年开市（2月3日）就开始跑，我是前天（2月29日）才重启了一下，期间根本就没有动过。
通过查看日志发现这个策略从02-24就开始出问题了。
而且发现halfhour.pickle的修改时间还停留在2月21日。
没有找到问题到底出在哪儿，反正是没有执行下面的代码
#盘中未 ...
