只是为了澄清这一点，这不是一个头/IP问题。我正在抓取一个网站，系统管理员不知何故能够准确地确定我正在使用的http客户端/库，并随后仅基于客户端阻止这些请求。我将HTTP客户端降级到一个较旧的版本，我成功地再次到达端点，但他们很快就抓住了这一点，并阻止了这一点。他们使用什么方法来确定这一点？还有什么其他的标识符被发送给他们，以便他们能够确定我正在使用的http库/客户端？
其他http客户端在被阻止后工作正常，即使在同一IP上发送完全相同的报头。