如何在使用Javascript时抓取'src'或'href'值?

piok6c0g  于 2022-12-10  发布在  Java
关注(0)|答案(1)|浏览(129)

也许这是一个简单的解决方案,但我真的被困在这一个。
例如,当您要使用BeautifulSoup从网页提取'href'的值时:
soup.find("a", {"id" : "home-page"})['href']
如果元素看起来像这样,您将如何执行此操作:

<a id="main_lnkWool" class="WhiteLinkText Canela-Medium-Web" href="javascript:__doPostBack('ctl00$main$lnkWool','')">Wool</a>

当url的值从javascript查询中拉出来时?
我可以看到网站正在使用的jquery.js文件,我只是不知道如何使用所有的片段一起拉URL。我试图做的是使用请求来抓取某些产品范围的URL。
以下是参考链接:https://www.kersaintcobb.co.uk/home
我试图提取的链接是在标签下'我们的产品'。
我知道总共只有6页,是的,我可以复制并粘贴它们,在这一点上,哈哈!但这是一个问题,我需要回答无论如何,因为我已经遇到了这个相同的问题,在其他项目,所以真的会帮助我,如果我知道如何解决它。
感谢您发送编修。

lhcgjxsq

lhcgjxsq1#

也许这不是最好的方法,但是对于JS站点,我可以使用webdriver,这是一个你可以通过代码控制的浏览器(顺便说一句,你可以让它看不见,就像隐藏它一样)。等待它加载,然后将源代码传递给BS4。更多信息:https://chromedriver.chromium.org/getting-started

相关问题