如何在Scrapy中使用自定义代理(IP地址)

ovfsdjhp 于 2023-10-20 发布在其他

关注(0)|答案(1)|浏览(124)

我正在尝试使用自定义代理的scrapy-rotating-proxies。我在一些视频中看到他们用

像这样添加代理和添加代理

我正在尝试使用我自己的设备的代理或IP地址用于此目的，我可以得到大约10个活动设备。如何将其添加到代码中？

1条答案

您应该为ROTATING_PROXY_LIST使用以下代理字符串格式：
有证书：

http://{user}:{password}@192.168.557.3:109

或者没有证件

http://192.168.557.3:109

范例：

ROTATING_PROXY_LIST = [
    'http://192.168.557.3:109',
    'http://user:[email protected]:5555'
]

在执行此操作之前，您必须确保设备正确代理传出流量。您可以使用其他程序进行检查（例如，在浏览器中安装相同的代理）