我正在尝试使用selenium获取此页面上的数据:
https://www.justdial.com/Mumbai/General-Physician-Doctors/nct-10892680
我在Python中使用BeautifulSoup和Selenium来实现这一点。但是我只能获取10条记录。只有当你向下滚动并等待多次时,才会加载其余的记录。如何在Python中模拟这一点或其他获取数据的方法?
或者,我检查了网络选项卡,发现当加载新数据时,会向https://www.justdial.com/api/resultsPageListing?searchReferer=gen发出POST请求,但这并没有说明什么。通常,应该有一个页码来标识将要加载的数据集。
2条答案
按热度按时间cclgggtu1#
最简单的方法是重复调用同一个端点
出于某种原因,每次调用端点时,它们似乎都向您显示随机选择的记录。
这可能意味着您可以继续调用它,并累积所有结果,同时进行重复数据删除。
3zwjbxry2#
有一个请求负载,URL为https://www.justdial.com/api/resultsPageListing?searchReferer=gen,带有字段“pg_no”,表示页码。您可以使用“payload”选项卡以相同的方式检查。您必须将其作为JSON数据与请求沿着发送。