新码农-爬虫

MitmProxy设置二级代理

通过python脚本自定义二级代理的代理方式。

菜鸟站长
技术笔记
2023年3月1日
48 已阅读
0

Selenium设置浏览器常用参数详解

参数是在定义driver的时候设置，是一个Options类所实例化的对象。参数是设置浏览器是否可视化（加快代码运行速度）和浏览器的请求头（防止网站的反爬虫检测）等信息。

菜鸟站长
技术笔记
2023年3月1日
56 已阅读
0

PyExecJS常见问题汇总

Python使用PyExecJS调用JS代码出现的错误，记录一下。

菜鸟站长
技术笔记
2023年1月9日
132 已阅读
1

Hadoop常用命令

基于Linux操作系统上传下载文件到HDFS文件系统基本命令学习。

菜鸟站长
技术笔记
2022年2月28日
2553 已阅读
1

Charles证书设置为系统信任证书(root)

将Charles证书设置为系统信任证书，前提条件是需要root手机。

菜鸟站长
技术笔记
2022年2月28日
2723 已阅读
1

部署sekiro并升级为HTTPS

sekiro是一个基于长链接和代码注入的API暴露框架，可以用在js/app逆向、web/app数据抓取等场景，本文主要介绍如何部署该框架和升级为https的方法。

菜鸟站长
技术笔记
2022年2月28日
1340 已阅读
4

Scrapy修改User-Agent

使用Scrapy写爬虫的时候，会莫名其妙的被目标网站拒绝，很大部分是浏览器请求头的原因。

菜鸟站长
技术笔记
2022年1月10日
1229 已阅读
1

tesserocr安装方法

在爬虫过程中，难免会遇到各种各样的验证码，而大多数验证码还是图形验证码，这时候我们可以直接用 OCR 来识别。

菜鸟站长
技术笔记
2021年11月20日
1041 已阅读
4

Selenium添加Cookie的方法

详解selenium添加cookie的方法。

菜鸟站长
技术笔记
2021年11月10日
1244 已阅读
11

Scrapy管道的open_spider、close_spider

设置scrapy爬虫开启和关闭时的动作。

菜鸟站长
技术笔记
2021年10月20日
927 已阅读
3

Scrapy日志操作

Scrapy提供了log功能，可以通过 logging 模块使用。

菜鸟站长
技术笔记
2021年10月10日
969 已阅读
5

Scrapy重写start_requests方法

scrapy的start_requests方法重写，添加更多操作。

菜鸟站长
技术笔记
2021年9月30日
1282 已阅读
7

Scrapy在下载中间件中对URL进行修改

在scrapy中对请求URL进行处理。

菜鸟站长
技术笔记
2021年9月20日
1181 已阅读
2

Scrapy命令基本用法

scrapy命令很多，在此整理一下。

菜鸟站长
技术笔记
2021年9月10日
795 已阅读
4

Scrapy多个spider时指定pipeline

Scrapy存在多个爬虫的时候如何指定对应的管道呢？

菜鸟站长
技术笔记
2021年8月30日
1113 已阅读
7

新码农博客

网络爬虫，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。网站首页 爬虫