python 为什么URL请求没有给予响应?

xtupzzrd  于 2023-05-05  发布在  Python
关注(0)|答案(1)|浏览(168)

我使用下面的程序来获取url响应,但只有下面的url不能正确地给予响应。我已经等了很长时间了,但它还是不能跑完。我该怎么解决呢?

import re
from bs4 import BeautifulSoup
import whois
import urllib
import urllib.request
import requests
from datetime import datetime

try:
    url="http://zozo.jp/shop/bestpackingstore/?price=proper&p_ssy=2015&p_ssm=5&p_ssd=13&p_sey=2015&p_sem=5&p_sed=13&dstk=2"
    header = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'}
    response = requests.get(url, headers=header)
    print(response.text)
except:
    response = ""
mrwjdhj3

mrwjdhj31#

您的User-Agent无效。
这段代码展示了一种改进的使用模式,它与一个有效的用户代理一起使用

import requests
from bs4 import BeautifulSoup as BS

url = 'http://zozo.jp/shop/bestpackingstore'
params = {
    'price': 'proper',
    'p_ssy': 2015,
    'p_ssm': 5,
    'p_ssd': 13,
    'p_sey': 2015,
    'p_sem': 5,
    'p_sed': 13,
    'dstk': 2
}
headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/16.4 Safari/605.1.15'
}

with requests.get(url, headers=headers, params=params) as response:
    response.raise_for_status()
    soup = BS(response.text, 'lxml')

相关问题