想问下,它的代理是同时开始爬取代理IP的吗。如果的写一个扩展,爬取的代理数量在100万左右,那么它下面的后面的扩展代理是等待还是同时进行
0sgqnhkj1#
会按照setting.py里面配置的顺序采集,建议不要一次拿太多代理。因为代理时效性本身不高,程序会不停去拿,保证池子够用就行
kxeu7u2r2#
会按照setting.py里面配置的顺序采集,建议不要一次拿太多代理。因为代理时效性本身不高,程序会连续去拿,保证池子够用就行
谢谢,重新修改扩展代理。
2条答案
按热度按时间0sgqnhkj1#
会按照setting.py里面配置的顺序采集,建议不要一次拿太多代理。因为代理时效性本身不高,程序会不停去拿,保证池子够用就行
kxeu7u2r2#
会按照setting.py里面配置的顺序采集,建议不要一次拿太多代理。因为代理时效性本身不高,程序会连续去拿,保证池子够用就行
谢谢,重新修改扩展代理。