selenium 抓取滚动时加载的数据

ix0qys7i  于 11个月前  发布在  其他
关注(0)|答案(2)|浏览(134)

我正在尝试使用selenium获取此页面上的数据:
https://www.justdial.com/Mumbai/General-Physician-Doctors/nct-10892680
我在Python中使用BeautifulSoup和Selenium来实现这一点。但是我只能获取10条记录。只有当你向下滚动并等待多次时,才会加载其余的记录。如何在Python中模拟这一点或其他获取数据的方法?
或者,我检查了网络选项卡,发现当加载新数据时,会向https://www.justdial.com/api/resultsPageListing?searchReferer=gen发出POST请求,但这并没有说明什么。通常,应该有一个页码来标识将要加载的数据集。

cclgggtu

cclgggtu1#

最简单的方法是重复调用同一个端点

出于某种原因,每次调用端点时,它们似乎都向您显示随机选择的记录。
这可能意味着您可以继续调用它,并累积所有结果,同时进行重复数据删除。

3zwjbxry

3zwjbxry2#

有一个请求负载,URL为https://www.justdial.com/api/resultsPageListing?searchReferer=gen,带有字段“pg_no”,表示页码。您可以使用“payload”选项卡以相同的方式检查。您必须将其作为JSON数据与请求沿着发送。

相关问题