Python:双十一正值火热,让我们爬一下某宝,参与一波剁手~

x33g5p2x  于2021-11-21 转载在 Python  
字(2.1k)|赞(0)|评价(0)|浏览(384)

兄弟们,双十一剁手了吗?购物虽快乐,但是别过度了,毕竟很多降价不是真的降价,眼睛擦亮了~

今天来试试爬一下某宝,这玩意学会了做外包的话,还是值几个钱的。

环境/模块介绍

  1. python 3.8 使用的环境
  2. pycharm 使用的编辑器
  3. selenium 浏览器驱动的第三方模块
  4. csv 数据保存的模块
  5. time 时间模块, 可以用于程序的延迟
  6. random 随机数模块

下载操作浏览器驱动的第三方模块
对应视频教程:

Python:双十火热进行中,教你带你用Python继续剁手

  1. selenium pip install selenium

解释我基本都写在注释了,我就偷个懒不在写了。

  1. from selenium import webdriver
  2. import time # 时间模块, 可以用于程序的延迟
  3. import random # 随机数模块
  4. from constants import TAO_USERNAME1, TAO_PASSWORD1
  5. import csv # 数据保存的模块
  6. def search_product(keyword):
  7. """搜索商品数据, 登录用户"""
  8. driver.find_element_by_xpath('//*[@id="q"]').send_keys(keyword)
  9. time.sleep(random.randint(1, 3)) # 尽量避免人机检测 随机延迟
  10. driver.f
  11. def parse_data():
  12. """解析商品数据"""
  13. divs = driver.find_elements_by_xpath('//div[@class="grid g-clearfx"]/div/div') # 所有的div标签
  14. for div in divs:
  15. try:
  16. info = div.find_element_by_xpath('.//div[@class="row row-2 title"]/a').text
  17. price = div.find_element_by_xpath('.//strong').text + '元'
  18. deal = div.find_element_by_xpath('.//div[@class="deal-cnt"]').text
  19. name = div.find_element_by_xpath('.//div[@class="shop"]/a/span[2]').text
  20. location = div.find_element_by_xpath('.//div[@class="location"]').te'.//div[@class="pic"]/a').get_attribute('href')
  21. print(info, price, deal, name, location, detail_url)
  22. # 保存
  23. with open('某宝.csv', mode='a', encoding='utf-8', newline='') as f:
  24. csv_write = csv.writer(f)
  25. csv_write.writerow([info, price, deal, name, location, detail_url])
  26. except:
  27. continue
  28. word = input('请输入你要搜索商品的关键字:')
  29. # 创建一个浏览器
  30. driver = webdriver.Chrome()
  31. # selenium操作的浏览器被识别了, 无法登录
  32. # 修改浏览器的部分属性, 绕过检测
  33. driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument",
  34. {"source": """Object.defineProperty(navigator, 'webdriver', {get: () => false})"""})
  35. # 执行自动化浏览器的操作
  36. driver.get('https://www.taobao.com/')
  37. driver.implicitly_wait(10) # 设置浏览器的等待,加载数据
  38. driver.maximize_window() # 最大化浏览器
  39. # 调用商品搜索的函数
  40. search_product(word)
  41. for page in range(100): # 012
  42. print(f'\n==================正在抓取第{page + 1}页数据====================')
  43. url = f'https://s.taobao.com/search?q=%E5%B7%B4%E9%BB%8E%E4%B8%96%E5%AE%B6&s={page * 44}'
  44. # 解析商品数据
  45. parse_data()
  46. time.sleep(random.randint(1, 3)) # 尽量避免人机检测 随机延迟

兄弟们快去试试吧!Python学习视频,解答,电子书都可以私信我领取

相关文章