是这样的,我买的代理ip,10s返回500个,那么应该怎么设置才能解决这个问题
uyhoqukh1#
粗暴点的话,你可以修改``proxy_pool/Schedule/ProxyRefreshSchedule.py
Line 76 in 223f57d
| | defbatchRefresh(process_num=30): |"把线程数改成250,应该够用
vuktfyat2#
粗暴点的话,你可以修改``
proxy_pool/Schedule/ProxyRefreshSchedule.py
def batchRefresh(process_num=30):"把线程数改成250,应该够用
现在貌似出现新问题,一次获取500个ip,但是待验证只有100多,其他的丢了么。
brvekthn3#
粗暴点的话,你可以修改``proxy_pool/Schedule/ProxyRefreshSchedule.pyLine 76 in 223f57ddef batchRefresh(process_num=30):"把线程数改成250,应该够用
这个看你的getProxy函数怎么写了吧,正常来说都是全部丢进raw_proxy,然后慢慢验证的。你可以单独调一下API看看是不是有500个不重复的代理
k0pti3hp4#
郁闷了,刚才测试了一下,是有500个的
falq053o5#
@CHZZBECK 买的代理服务自身有筛选的吧,严格一点,一次五百个没多少能用
5条答案
按热度按时间uyhoqukh1#
粗暴点的话,你可以修改``
proxy_pool/Schedule/ProxyRefreshSchedule.py
Line 76 in 223f57d
| | defbatchRefresh(process_num=30): |
"
把线程数改成250,应该够用
vuktfyat2#
粗暴点的话,你可以修改``
proxy_pool/Schedule/ProxyRefreshSchedule.py
Line 76 in 223f57d
def batchRefresh(process_num=30):
"
把线程数改成250,应该够用
现在貌似出现新问题,一次获取500个ip,但是待验证只有100多,其他的丢了么。
brvekthn3#
粗暴点的话,你可以修改``
proxy_pool/Schedule/ProxyRefreshSchedule.py
Line 76 in 223f57d
def batchRefresh(process_num=30):
"
把线程数改成250,应该够用
现在貌似出现新问题,一次获取500个ip,但是待验证只有100多,其他的丢了么。
这个看你的getProxy函数怎么写了吧,正常来说都是全部丢进raw_proxy,然后慢慢验证的。你可以单独调一下API看看是不是有500个不重复的代理
k0pti3hp4#
粗暴点的话,你可以修改``
proxy_pool/Schedule/ProxyRefreshSchedule.py
Line 76 in 223f57d
def batchRefresh(process_num=30):
"
把线程数改成250,应该够用
现在貌似出现新问题,一次获取500个ip,但是待验证只有100多,其他的丢了么。
这个看你的getProxy函数怎么写了吧,正常来说都是全部丢进raw_proxy,然后慢慢验证的。你可以单独调一下API看看是不是有500个不重复的代理
郁闷了,刚才测试了一下,是有500个的
falq053o5#
@CHZZBECK 买的代理服务自身有筛选的吧,严格一点,一次五百个没多少能用