我们可以用Scrapy抓取linkdin/ jobs吗?我在找关于它的教程,但没有找到任何教程?我也在Github上搜索过,但没有找到任何相关的库。有人能告诉我原因吗?或者可以提供一个简单的scrapy蜘蛛,这样我就可以使用和修改它了。但是只使用SCRAPY
vatpfxk51#
你不能使用scrapy抓取linkedin/ jobs,因为scrapy不能渲染JavaScript,但是可以使用scrapy-seleniumRequest抓取linkedin/ jobs,因为Linkedin完全依赖于JavaScript。selenium 屑文档为here
JavaScript
scrapy-seleniumRequest
1条答案
按热度按时间vatpfxk51#
你不能使用scrapy抓取linkedin/ jobs,因为scrapy不能渲染
JavaScript
,但是可以使用scrapy-seleniumRequest
抓取linkedin/ jobs,因为Linkedin完全依赖于JavaScript。selenium 屑文档为here