不能废弃一个用scrapy检查安全性的网站

yb3bgrhw  于 2023-06-29  发布在  其他
关注(0)|答案(1)|浏览(124)

我要刮:https://9anime.gs/filter?keyword=oshi+n+oko所以我进入我的浏览器并试图查看它的代码,但我意识到它显示了这个页面,
Security Checking过了一段时间,它显示Redirecting在很短的时间内,url发生了变化,并恢复正常。Redirecting Then the website loads.. Website
每当我向网站发送请求时,都会得到以下响应:Codes * 内联代码无法工作 *
我真的不明白剧本是做什么的。
请给予我一个解决方案或给我一个指引,我可以按照刮这个网站
我尝试了假的用户代理,但它没有工作。我也尝试了一点饼干,但我找不到我需要发送的饼干。

hec6srdp

hec6srdp1#

正如罗伯茨所提到的,该网站有一个验证码来保护自己免受不必要的访问。不过,可以使用浏览器自动化通过selenium访问网站。

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as ec
from selenium.webdriver.support.ui import WebDriverWait

from webdriver_manager.chrome import ChromeDriverManager

driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()))
url = 'https://9anime.se/filter?keyword=oshi+n+oko'

driver.get(url)
WebDriverWait(driver, 60).until(ec.visibility_of_element_located((By.CSS_SELECTOR, 'section[class="block_area block_area-anime none-bg"]'))) # element for search results

我能够访问该网站,并找到搜索结果部分与此代码。
注意:我使用的是 .se 域名,因为 .gs 已经停止为我工作,但所有的9anime域名都具有相同的结构。

相关问题