我正在尝试为一个大学公寓列表网站搜集校外公寓的名称和地址。我目前遇到的障碍是点击selenium中的“加载更多”按钮,每个搜索结果会出现x次。我是网络搜集的新手,我想知道是否有人能帮我点击这个按钮,直到它消失,这样我就可以使用beautifulsoup收集所有其他信息。
网址:https://www.rentcollegepads.com/off-campus-housing/mississippi-state/search
我正在尝试为一个大学公寓列表网站搜集校外公寓的名称和地址。我目前遇到的障碍是点击selenium中的“加载更多”按钮,每个搜索结果会出现x次。我是网络搜集的新手,我想知道是否有人能帮我点击这个按钮,直到它消失,这样我就可以使用beautifulsoup收集所有其他信息。
网址:https://www.rentcollegepads.com/off-campus-housing/mississippi-state/search
2条答案
按热度按时间zlwx9yxi1#
要单击元素Load More,需要为element_to_be_clickable()引入WebDriverWait,可以使用以下locator strategies之一:
*注意:您必须添加以下导入:
型
mxg2im7a2#
我使用了另一个线程(How to loop a python action until a button is clickable (selenium)),并对其进行了一些修改,因为我最近有一个类似的任务:
您需要添加: