如果机器的虚拟内存swap不足或者需要调整,可以手动的增加。
使用Scrapy写爬虫的时候,会莫名其妙的被目标网站拒绝,很大部分是浏览器请求头的原因。
Python编程时遇到过一些问题,整理了以下内容,含解决办法。
TCPing是使用TCP协议测试端口开放情况的小工具。
在爬虫过程中,难免会遇到各种各样的验证码,而大多数验证码还是图形验证码,这时候我们可以直接用 OCR 来识别。
Scrapy提供了log功能,可以通过 logging 模块使用。
scrapy的start_requests方法重写,添加更多操作。