利用 Akamai Content Protector 阻止抓取程序和黄牛倒卖程序

在新冠疫情爆发之前，人们通常认为抓取类爬虫程序不太复杂且相对容易检测。然而，自 2020 年开始，由于以下种种因素，攻击者的利润潜力有所增加：

• 供应链冲击和短缺，囊括从日用杂货和婴儿配方奶粉到厨房用具和汽车的一切产品

• 疫情初期疫苗稀缺（疫苗预约困难！）

• 一旦每个人再次开始旅行，机票和酒店预订就会变得广受欢迎

• 由于渴望娱乐活动的人们想要再次外出，因此狂热追求音乐会门票等传统热门商品

为了抓住这些赚钱机会，爬虫程序操纵者的攻击手段不断花样翻新。这些抓取程序通常由多个攻击者进行设计，规避手法独特，而且更加专业和复杂。这些攻击者往往会联合起来对多次踩点的目标发起不计成本的攻击。

另外，抓取程序还会使用此类爬虫程序特有的技术，因此，需要能够专门发现这些独特技术的检测措施。事实上，在大多数情况下，抓取攻击会结合使用爬虫程序和其他技术（如插件）来执行攻击链。

抓取攻击可能会给企业带来许多代价高昂的问题，包括：

• 决策失误导致不菲代价。如果企业无法区分爬虫程序流量和真实用户流量，他们就会在哪些产品受欢迎以及如何优化营销成效方面做出错误的决策。

• IT 成本增加。抓取程序会持续运行直至停止，因此，当企业为不需要的爬虫程序流量提供服务时，会增加服务器和交付成本。

• 网站性能下降。由于网站和应用程序性能下降，因此会削弱企业所提供的用户体验。

• 销售额和转化率降低。消费者厌恶速度慢的网站。当抓取程序损害网站性能时，这些 消费者就会去其他网站购物。购物车放弃和网站回访访问量减少意味着交易网站的转化率和销售额降低。

• 竞争情报/间谍活动。竞争对手从某企业的网站上抓取信息，以压低该企业的定价并相应调整自己的报价，从而确保自己以持续军备竞赛这样的手段赢得客户。

• 库存囤积/黄牛倒卖监控。抓取程序（在这种情况下有时也称为黄牛倒卖程序）是 库存囤积攻击链的第一步。黄牛倒卖程序不断地对目标网站进行 ping 操作以查找有库存的产品，然后将其添加到购物车中，从而使真正的消费者无法购买这些产品。

• 冒名顶替者假冒原企业或产品。仿冒者利用抓取的内容制作 虚假网站 和产品目录，使用户误认为他们购买的是合法商品而不是仿冒品。

• 窃取媒体公司的受众和“注意力”。攻击者可以抓取内容并将其放在自己的网站上，从而导致合法企业失去访问者和潜在的广告收入。

Akamai 隆重推出 Content Protector，这款解决方案可阻止有害抓取程序，同时不会阻止公司业务成功所需的有益抓取程序。Content Protector 拥有专门用于识别破坏性抓取攻击的检测。

Content Protector 的定制功能包括：

• 检测

• 风险分类

• 响应策略

检测包括一组机器学习赋能的检测方法，可评估在客户端和服务器端收集的数据：

• 协议级评估。协议指纹识别可评估客户端如何在不同层上与服务器建立连接，以及验证所协商的参数是否与常用网络浏览器和移动应用程序预期的参数一致。

• 应用程序级评估。此评估可评估客户端能否运行采用 JavaScript 编写的一些业务逻辑。当客户端运行 JavaScript 时，Content Protector 会收集设备和浏览器特征以及用户偏好（指纹识别）。这些不同的数据点将与协议级数据进行对比和交叉检查，以验证一致性。

• 用户交互分析。相关指标可评估用户通过触摸屏、键盘和鼠标等标准外围设备与客户端进行的交互。缺少交互或出现异常交互通常与爬虫程序流量相关。

• 用户行为分析。此功能可分析用户浏览网站的历程。爬虫程序通常会寻找特定内容，因此在行为上与合法流量存在显著不同。

• 无界面浏览器检测。这是一款在客户端运行的自定义 JavaScript，可以发现无界面浏览器留下的迹象，即使该浏览器处于隐身模式也可被发现。

Content Protector 可根据评估过程中发现的异常情况，对流量进行确定性、切实可行的风险分类（低风险、中等风险或高风险）。分类为高风险的流量必须具有较低的误报率。