proxy_pool 待验证ip堆积,请求问题

r1wp621o  于 2023-03-19  发布在  其他
关注(0)|答案(5)|浏览(218)

是这样的,我买的代理ip,10s返回500个,那么应该怎么设置才能解决这个问题

uyhoqukh

uyhoqukh1#

粗暴点的话,你可以修改``
proxy_pool/Schedule/ProxyRefreshSchedule.py

Line 76 in 223f57d

| | defbatchRefresh(process_num=30): |
"
把线程数改成250,应该够用

vuktfyat

vuktfyat2#

粗暴点的话,你可以修改``

proxy_pool/Schedule/ProxyRefreshSchedule.py

Line 76 in 223f57d

def batchRefresh(process_num=30):
"
把线程数改成250,应该够用

现在貌似出现新问题,一次获取500个ip,但是待验证只有100多,其他的丢了么。

brvekthn

brvekthn3#

粗暴点的话,你可以修改``
proxy_pool/Schedule/ProxyRefreshSchedule.py
Line 76 in 223f57d
def batchRefresh(process_num=30):
"
把线程数改成250,应该够用

现在貌似出现新问题,一次获取500个ip,但是待验证只有100多,其他的丢了么。

这个看你的getProxy函数怎么写了吧,正常来说都是全部丢进raw_proxy,然后慢慢验证的。你可以单独调一下API看看是不是有500个不重复的代理

k0pti3hp

k0pti3hp4#

粗暴点的话,你可以修改``
proxy_pool/Schedule/ProxyRefreshSchedule.py
Line 76 in 223f57d
def batchRefresh(process_num=30):
"
把线程数改成250,应该够用

现在貌似出现新问题,一次获取500个ip,但是待验证只有100多,其他的丢了么。

这个看你的getProxy函数怎么写了吧,正常来说都是全部丢进raw_proxy,然后慢慢验证的。你可以单独调一下API看看是不是有500个不重复的代理

郁闷了,刚才测试了一下,是有500个的

falq053o

falq053o5#

@CHZZBECK 买的代理服务自身有筛选的吧,严格一点,一次五百个没多少能用

相关问题