proxy_pool 扩展代理是等待还是同时进行

6uxekuva  于 5个月前  发布在  其他
关注(0)|答案(2)|浏览(44)

想问下,它的代理是同时开始爬取代理IP的吗。如果的写一个扩展,爬取的代理数量在100万左右,那么它下面的后面的扩展代理是等待还是同时进行

0sgqnhkj

0sgqnhkj1#

会按照setting.py里面配置的顺序采集,建议不要一次拿太多代理。因为代理时效性本身不高,程序会不停去拿,保证池子够用就行

kxeu7u2r

kxeu7u2r2#

会按照setting.py里面配置的顺序采集,建议不要一次拿太多代理。因为代理时效性本身不高,程序会连续去拿,保证池子够用就行

谢谢,重新修改扩展代理。

相关问题