redis中存储10-20ip就够我用了,不用200个那么多,我用收费的ip用一个算一个的钱,如果200个随机也是分分钟用光,我想限制下数据库存储的数量,请问在哪里设置
iyzzxitl1#
储存没有限制，如果你想要你那个获取IP源去少一点，你改下抓取方法每次返回少一点就行，也可以通过改这里proxy_pool/Schedule/ProxyScheduler.py
Line 54 in eb4ee8a
| | scheduler.add_job(rawProxyScheduler, 'interval', minutes=5, id="raw_proxy_check", name="raw_proxy定时采集") |
把抓取间隔的 minutes 设置大一点
minutes
7gs2gvoe2#
好的 感谢
bhmjp9jg3#
你好 那如何知道已有的代理ip有多少个，网页查看 http://127.0.0.1:5010/get_all/ 好像只能显示一定的数量，这已经是全部了吗
t1rydlwq4#
@Eleven-is-cool 文档写的很清楚 /get_status
/get_status
3z6pesqy5#
感谢！还有请问我用proxies去requests网页，爬取的数据多后无法爬取，我开浏览器后发现是遇到了验证码，为什么我用代理ip去请求网页本地的ip仍然收到限制，这是不是并没有隐藏真实的本地ip的问题？
yzxexxkh6#
@Eleven-is-cool 1.代码问题， 2.透明代理还是会被对方服务器检测到真是IP
6条答案
按热度按时间iyzzxitl1#
储存没有限制，如果你想要你那个获取IP源去少一点，你改下抓取方法每次返回少一点就行，
也可以通过改这里
proxy_pool/Schedule/ProxyScheduler.py
Line 54 in eb4ee8a
| | scheduler.add_job(rawProxyScheduler, 'interval', minutes=5, id="raw_proxy_check", name="raw_proxy定时采集") |
把抓取间隔的
minutes设置大一点7gs2gvoe2#
好的 感谢
bhmjp9jg3#
储存没有限制，如果你想要你那个获取IP源去少一点，你改下抓取方法每次返回少一点就行，
也可以通过改这里
proxy_pool/Schedule/ProxyScheduler.py
Line 54 in eb4ee8a
| | scheduler.add_job(rawProxyScheduler, 'interval', minutes=5, id="raw_proxy_check", name="raw_proxy定时采集") |
把抓取间隔的
minutes设置大一点你好 那如何知道已有的代理ip有多少个，网页查看 http://127.0.0.1:5010/get_all/ 好像只能显示一定的数量，这已经是全部了吗
t1rydlwq4#
@Eleven-is-cool 文档写的很清楚
/get_status3z6pesqy5#
@Eleven-is-cool 文档写的很清楚
/get_status感谢！还有请问我用proxies去requests网页，爬取的数据多后无法爬取，我开浏览器后发现是遇到了验证码，为什么我用代理ip去请求网页本地的ip仍然收到限制，这是不是并没有隐藏真实的本地ip的问题？
yzxexxkh6#
@Eleven-is-cool 1.代码问题， 2.透明代理还是会被对方服务器检测到真是IP