Python将Web表数据移动到Pandas的最快方法

tp5buhyn  于 2023-03-11  发布在  Python
关注(0)|答案(1)|浏览(131)

运行一个 selenium 代码从零售商网站获取标题和价格的数据。我使用一个循环从find_elements赋值,但是它似乎运行得相当慢。有没有更快的方法将所有文本值赋给PandasDF?

browser.get("https://www.hipercor.es/supermercado/buscar/?term=la+casera&search=text")
time.sleep(1)
titles = browser.find_elements(By.XPATH,"//*[@class='product_tile-description']")
prices = browser.find_elements(By.XPATH,"//*[@class='prices product_tile-prices']")
            for i in range(len(titles)):
                our_list = {"PRICE": prices[i].text, "PRODUCT": titles[i].text}
                df_dict = pd.DataFrame([our_list])
                hiper = pd.concat([hiper, df_dict], ignore_index=True)
8gsdolmq

8gsdolmq1#

我也会这么做。

io = f'https://www.hipercor.es/supermercado/buscar/?term=la+casera&search=text'
df = pd.read_html(io,)

文件read_html

相关问题