scrapy 无法获得正确< option>的长度,有碎屑

8i9zcol2  于 2023-10-20  发布在  其他
关注(0)|答案(1)|浏览(113)

我正在查找a product page的详细信息。我需要计算Dropbox中可用的大小选项。然而len(response.selector.css('[id="tallas_detalle"]').css('option'))产生7时,在网站上我可以看到14。请帮帮忙。

jc3wubiy

jc3wubiy1#

今天,我检查了网站,看到以下HTML:

<select name="id_producte" id="tallas_detalle" onchange="javascript:actualitzar_dades_producte(this.value,1);">
  <option value="12600628"  >EU 41 Black Olive / Wallnut</option>
  <option value="12600629"  >EU 42 Black Olive / Wallnut</option>
  <option value="12600630"  >EU 42 1/2 Black Olive / Wallnut</option>
  <option value="12600632"  >EU 44 Black Olive / Wallnut</option>
  <option value="12600619"  >EU 44 1/2 Black Olive / Wallnut</option>
  <option value="12600621"  >EU 46 Black Olive / Wallnut</option>
  <option value="12600622"  >EU 46 1/2 Black Olive / Wallnut</option>
</select>

这只占了7个项目(正如您在scrapy查询中看到的那样)。也许他们有一个正在发出的BRAC请求,以向select元素添加更多的项。也许,因为一些JS + CSS,他们正在复制屏幕中的项目(你提到的14)。但Scrapy阅读HTML时工作正常。

相关问题