在colab for Selenium中安装并运行浏览器

cyej8jka  于 2023-02-12  发布在  其他
关注(0)|答案(2)|浏览(157)

我知道google colab可以用于selenium模块,但是在使用selenium之前,colab虚拟机中应该有一个浏览器,所以我已经成功地使用命令在colab中安装了firefox

!apt-get update
!apt install firefox

但当我尝试运行firefox的时候

!firefox

它会抛出一个错误
src/tcmalloc.cc:283]尝试释放无效指针0x7f4e34915040将对abort()的调用重定向到mozalloc_abort
同样的问题也发生在其他浏览器上,比如chromium-browser和chrome。
我甚至试过

import webbrowser
webbrowser.get('firefox').open('https://www.youtube.com')

但它抛出一个错误
找不到浏览器位置
因此,总的来说,我需要这个错误的解决方案,而运行浏览器
尝试释放无效指针0x7f4e34915040

jtoj6r0c

jtoj6r0c1#

我不能安装火狐。但如果你可以使用 chrome 。这里的代码。

# install chromium, its driver, and selenium
!apt install chromium-chromedriver
!pip install selenium
# set options to be headless, ..
from selenium import webdriver
options = webdriver.ChromeOptions()
options.add_argument('--headless')
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')
# open it, go to a website, and get results
wd = webdriver.Chrome('chromedriver',options=options)
wd.get("https://www.website.com")
print(wd.page_source)  # results
# divs = wd.find_elements_by_css_selector('div')
gab6jxml

gab6jxml2#

以下是在google colab中使用firefox驱动程序安装和运行selenium的步骤。
1.安装Firefox驱动程序:

!apt-get update  
!apt install firefox

1.安装Selenium:

!pip install selenium

1.导入依赖项:

import selenium.webdriver as webdriver
from selenium.webdriver.firefox.service import Service
from selenium.webdriver.firefox.options import Options as FirefoxOptions

1.定义一个函数来构建scraper:

def selenium_firefox_agent(driver_path="geckodriver"):
    firefox_driver_path = f'{driver_path}'
    user_agent = 'Mozilla'
    firefox_options = FirefoxOptions()
    firefox_options.add_argument('--headless')
    firefox_options.set_preference("general.useragent.override", user_agent)

    driver = webdriver.Firefox(
        executable_path=firefox_driver_path,
        options=firefox_options
    )
    print('Scraper setup complete!')
    return driver

1.运行铲运机:

crawler = selenium_firefox_agent()
crawler.get("https://www.google.com/")
source = crawler.page_source

相关问题