使用Scrapy加载会话cookie

hfsqlsce  于 2022-11-09  发布在  其他
关注(0)|答案(1)|浏览(154)

我正在使用scrapy来抓取需要登录的站点,但我不确定为了保持会话,哪些字段需要保存和加载。
对于 selenium ,我采取了以下措施来保存饼干:

import pickle
import selenium.webdriver 

driver = selenium.webdriver.Firefox()
driver.get("http://www.google.com")
pickle.dump( driver.get_cookies() , open("cookies.pkl","wb"))

还有这个给他们装:
导入泡菜导入 selenium .webdriver

driver = selenium.webdriver.Firefox()
driver.get("http://www.google.com")
cookies = pickle.load(open("cookies.pkl", "rb"))
for cookie in cookies:
    driver.add_cookie(cookie)

它工作得很好,有没有可能用Scrapy

ergxz8rk

ergxz8rk1#

使用cookie发送请求:

request_with_cookies = Request(url="http://www.example.com", cookies={'currency': 'USD', 'country': 'UY'})

从响应中获取Cookie:

cookies_from_response = response.headers[b'Cookies'].decode()

相关问题