Scrapy xpath无法提取

kmpatx3s  于 2022-11-09  发布在  其他
关注(0)|答案(2)|浏览(208)

我正在尝试从link提取数据,我使用
scrapy shell "https://www.newegg.com/Product/Product.aspx?Item=06T-0045-00045"
我得到了正确的响应,但无法使Xpath工作,即用response.xpath('//li[@class="price-current"]')获取价格返回空,我也尝试了response.xpath('//*[@id="landingpage-price"]/div/div/ul'),但也是空的,当我使用response.xpath('//*[@id="landingpage-price"]')时,它工作,但任何更深的返回空。

dxpyg8gm

dxpyg8gm1#

你总是需要检查源代码HTML(Ctrl+U)。源代码中有<meta itemprop='price' content='78.23' />。很简单:

response.xpath('//meta[@itemprop="price"]/@content').extract_first()

都可以。

nbewdwxp

nbewdwxp2#

我一整天都在寻找同一个问题,发现这个答案完美:

response.xpath('//meta[@itemprop="price"]/@content').get()

相关问题