您现在的位置是:首页 > 技术分享 网站首页技术分享

Scrapy:重写start_requests方法

Scrapy  
简介scrapy的start_requests方法重写,添加更多操作。

有时scrapy默认的start_requests无法满足我们的需求,例如分页爬取,那就要对它进行重写,添加更多操作。

def start_requests(self):

    # 自定义功能

    yield scrapy.Request(url="http://test.com", method="GET", callback=self.parse)


def parse(self, response):
    print(response.url)