Incapsula与许多其他反刮取服务一样，使用3种类型的详细信息来识别网页刮取器：

1. IP地址 meta信息
2. Javascript指纹识别
   1.请求分析
   为了绕过这种保护，我们需要确保这些详细信息与普通Web用户的详细信息相匹配。

IP地址

一个普通的网络用户通常是从一个住宅或移动的IP地址连接的，在那里许多生产抓取器部署在数据中心的IP地址上（谷歌云，AWS等）。这3种类型是非常不同的，可以通过分析IP数据库来确定。数据中心-商业IP地址、住宅-家庭地址和移动的地址是基于Hive塔的移动网络（3G、4G等）
因此，我们希望通过一个住宅或移动的代理池来分发我们的Scraper网络。

Javascript指纹

使用javascript，这些服务可以分析浏览器环境并建立指纹。如果我们运行浏览器自动化工具（如Selenium，Playwright，或Puppeteer）作为网页抓取器，我们需要确保浏览器环境看起来像用户。
这是一个巨大的主题，但一个好的开始将是看看什么puppeteer-stealth插件，应用补丁到浏览器环境，以隐藏各种细节，揭示了浏览器是由脚本控制的事实。

• 注意：puppeteer-stealth是不完整的，你需要做额外的工作，以获得通过Incapsula可靠。*

所以回答有点短，但我在我的博客How to Avoid Web Scraping Blocking: Javascript上写了一个关于这个主题的广泛介绍

请求分析

最后，我们的scraper连接方式也起着很大的作用。连接模式可以用来判断客户端是真实的用户还是机器人。例如，真实用户通常以更混乱的模式浏览网站，如转到主页、分类页面等。
一个隐秘的scraper应该会在scraping连接模式中引入一些混乱。

卷发不会剪头发

由于Incapsula依赖于JS指纹识别，所以您在询问如何使用CURL时，在这种情况下您可能运气不佳。但是，有几点需要注意，可能对其他系统有帮助：

• HTTP 2/3协议将有更高的成功率。Curl和许多其他http客户端默认为http1.1，大多数真实的用户流量运行http 2 + --这是一个致命的漏洞。
• 标头值和排序也很重要，因为真实的的浏览器（Chrome，Firefox等）有特定的标头顺序和值。如果你的scraper连接不同--这是一个致命的漏洞。

了解这3个细节，区分僵尸流量从真实的的人类流量可以帮助我们开发更多的隐形抓取器。如果你想了解更多，我在我的博客上写了更多关于这个主题的内容How to Scrape Without Getting Blocked

很难给予一个具体的答案，因为Incapsula有一个非常详细的规则引擎，可以用来阻止或质询请求。用户代理字符串、报头和源自客户端IP地址的行为（每分钟请求数、 AJAX 请求数等）也可能导致Incapsula质询通信。如果未根据站点看到的通信量合理配置DDoS保护功能，则会主动阻止请求。

可能有多种原因。很难准确指出Incapsula应用什么规则组合来检测你是一个机器人。它可能使用IP速率限制，浏览器指纹识别，头验证，TCP/IP指纹识别，用户代理等。
但你可以试试

• 轮换IP。

你可以很容易地在互联网上找到免费的代理列表，你可以使用像scrapy-rotating-proxies中间件这样的解决方案在你的蜘蛛中配置多个代理，并让请求通过它们自动旋转。

• 正在旋转USER_AGENT。

浏览此过滤器的一种方法是将USER_AGENT切换为从流行的Web浏览器使用的值中复制的值。在极少数情况下，您可能需要特定Web浏览器的用户代理字符串。有多个Scrapy插件可以通过流行的Web浏览器用户代理字符串（如scrapy-random-useragent或Scrapy- UserAgents）旋转您的请求。

• 您可以尝试检查开发人员工具并对请求参数进行反向工程。

大多数情况下，目标是避免被禁止爬行与最佳实践在脑海中。你可以阅读有关他们here.或你可以尝试使用专用工具为相同的像Smart Proxy Manager或Smart Browser太。我的工作作为一个开发倡导者@Zyte。