我目前正在工作的风暴爬虫为基础的项目。客户给我们的域名列表如下:
example.com网站
示例1.org
示例2.net
但是没有http/https协议,风暴爬虫无法读取它们。如果我们添加他们的协议,有时会重定向到另一个url地址。例如http://example.com redirects 至http://example.com/ 需要再爬到一个新的深度。但是我们想深入到网站首页。在风暴爬虫里我该怎么做?
我目前正在工作的风暴爬虫为基础的项目。客户给我们的域名列表如下:
example.com网站
示例1.org
示例2.net
但是没有http/https协议,风暴爬虫无法读取它们。如果我们添加他们的协议,有时会重定向到另一个url地址。例如http://example.com redirects 至http://example.com/ 需要再爬到一个新的深度。但是我们想深入到网站首页。在风暴爬虫里我该怎么做?
暂无答案!
目前还没有任何答案,快来回答吧!