解析使用域名获取网页的基本url

dsf9zpds  于 2021-06-24  发布在  Storm
关注(0)|答案(0)|浏览(249)

我目前正在工作的风暴爬虫为基础的项目。客户给我们的域名列表如下:
example.com网站
示例1.org
示例2.net
但是没有http/https协议,风暴爬虫无法读取它们。如果我们添加他们的协议,有时会重定向到另一个url地址。例如http://example.com redirects 至http://example.com/ 需要再爬到一个新的深度。但是我们想深入到网站首页。在风暴爬虫里我该怎么做?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题