大家新年好~菜鸟想问下 Scrapy 中 Request 出错跳到 errback 的函数里之后又怎么跳回去呢?

大家新年好~菜鸟想问下 Scrapy 中 Request 出错跳到 errback 的函数里之后又怎么跳回去呢?,第1张

大家新年好~菜鸟想问下 Scrapy 中 Request 出错跳到 errback 的函数里之后又怎么跳回去呢?,第2张

Request 失败,程序跳转到 errback 的函数里之后还能重新跳回去继续执行程序吗?
我因为 IP 代理用不了 Request 没成功,在 error 里删除该 IP 代理后怎么继续 Request 之前没成功的 url 呢? 就有点像汇编里的跳转。 ----------------------- 以下是精选回复-----------------------

答:如果我有描述不清的话请看: https://stackoverflow.com/questions/48840526/using-scrapy-how-can-i-jump-back-to-the-point-where-requests-errback-function-w
答:回调的 failure 里有 request 对象
答:改写下载器中间件不就行啦
答:你应该是想重试吧,你可以参考一下 RetryMiddleware。写了一个类继承 RetryMiddleware,process_exception 里边做的重试。

DABAN RP主题是一个优秀的主题,极致后台体验,无插件,集成会员系统
网站模板库 » 大家新年好~菜鸟想问下 Scrapy 中 Request 出错跳到 errback 的函数里之后又怎么跳回去呢?

0条评论

发表评论

提供最优质的资源集合

立即查看 了解详情