Scratch解决重定向301 302重定向问题,scrapy,Redirecting301302

发表时间:2020-10-29

在使用Scrapy框架中URl被重定向,总是遇到这类问题:

DEBUG: Redirecting (301/302) to <GET https://XXXX refer https://XXXX>

解决方式:

  • 在Scrapy中的Request中添加 dont_filter=True ,因为Scrapy是默认过滤掉重复的请求URL,添加上参数之后即使被重定向了也能请求到正常的数据了。

  • 在Scrapy框架中的 settings.py文件里添加

HTTPERROR_ALLOWED_CODES = [301]

HTTPERROR_ALLOWED_CODES设置来指定spider能处理的response返回值

也就是说 忽略 该列表中 不具有的状态码(当然正常的200状态码除外)的response。

另外:

在爬虫多次请求时,有些网站会出现反爬虫措施:将请求链接重定向到一个提示404的链接或者验证码链接等阻止爬虫的进行,如下为解决方案:

def start_requests(self):
        for i in self.start_urls:
            yield Request(i, meta={
                'dont_redirect': True,
                'handle_httpstatus_list': [301,302]
            }, callback=self.parse)
 
# 'dont_redirect': True是禁止重定向
# Request.meta 中的 handle_httpstatus_list 键可以用来指定每个request所允许的response code。

提示:

根据 HTTP标准 ,返回值为200-300之间的值为成功的resonse。

如果想处理在这个范围之外的response,可以通过 spider的 handle_httpstatus_list 属性或 HTTPERROR_ALLOWED_CODES 设置来指定spider能处理的response返回值。

例如,如果想要处理返回值为404的response可以这么做:

class MySpider(CrawlSpider):
  handle_httpstatus_list = [404]

使用requests模块遇到301和302问题时

html = requests.get(url, headers=headers, allow_redirects=False)
return html.headers['Location']

allow_redirects=False 的意义为拒绝默认的301/302重定向,从而可以通过 html.headers[‘Location’] 拿到重定向的URL

文章来源互联网,如有侵权,请联系管理员删除。邮箱:417803890@qq.com / QQ:417803890

微配音

Python Free

邮箱:417803890@qq.com
QQ:417803890

皖ICP备19001818号-4
© 2019 copyright www.pythonf.cn - All rights reserved

微信扫一扫关注公众号:

联系方式

Python Free