Akamai Bot Manager 可在边缘有效检测爬虫程序流量并抵御恶意爬虫程序,同时有效管理良性爬虫程序,而且这些操作均不会影响用户体验。无论客户选择在何地、以何种方式与您互动,该产品都能保护您的应用程序和资产。借助 Akamai Bot Manager,您可以更安全、更有效地运行自动化操作,提高客户对您整个生态系统的信任度。此外,Bot Manager 还为客户提供了可视化和报告工具,因此客户可以查看各种类型的爬虫程序对其业务和基础架构造成的影响。
Akamai Bot Manager 可在边缘有效检测爬虫程序流量并抵御恶意爬虫程序,同时有效管理良性爬虫程序,而且这些操作均不会影响用户体验。无论客户选择在何地、以何种方式与您互动,该产品都能保护您的应用程序和资产。借助 Akamai Bot Manager,您可以更安全、更有效地运行自动化操作,提高客户对您整个生态系统的信任度。此外,Bot Manager 还为客户提供了可视化和报告工具,因此客户可以查看各种类型的爬虫程序对其业务和基础架构造成的影响。
通过一个易于使用的门户,配置和管理良性爬虫程序和恶意爬虫程序。
通过向每个被监视的页面注入一个简单的脚本,可以自动配置行为异常检测。
将多项专利技术与一个可供查看边缘处流量的 AI 框架相结合,为每个请求分配一个爬虫程序得分,并随着时间推移不断学习。
利用出色的安全解决方案,打击可疑的恶意爬虫程序,从而拖慢爬虫程序攻击速度并抬高攻击者的成本。
了解网络内容抓取及其对电商网站的影响,以及如何通过爬虫程序防御措施防范负面影响。
Bot Manager 每天可监测 300 多亿个爬虫程序。它将从第一个请求开始,查看所有异常情况,生成一个从 0(人类)到 100(爬虫程序)的得分。随着来自同一爬虫程序的请求数量的增加,得分也随之提高。借助此功能,您可以根据爬虫程序得分,针对要应用的不同措施定义一个响应策略。策略可依据三个响应分段进行定义:谨慎响应(应加以留意)、严格响应(应加以质疑)和主动响应(应加以抵御)。您可以调整应用其中每一个响应策略的得分,也可以调整应用的措施。Akamai 根据每次检测对每个爬虫程序进行评估,让您更深入地了解为何将其归类为爬虫程序,以便您可以战略性地调整自己的防护措施。
爬虫程序只是一种自动化的软件应用程序,其操纵者可用它来执行各种任务。因此,Bot Manager 可以根据自动化的表征来检测任何爬虫程序。Bot Manager 可帮助客户管理与爬虫程序相关的特定用例,如价格抓取、数据聚合、库存抓取等。
虽然许多 Web 应用程序和 DDoS 攻击的背后都有自动爬虫程序的身影,但爬虫程序管理与 Web 应用程序防火墙解决方案仍属于不同类型的解决方案,通过不同的功能组合应对多种挑战。Bot Manager 提供一系列高级措施来帮助缓解对抗性爬虫程序所带来的业务挑战。
Akamai 法律团队定期对收集到的数据点进行审查,确保遵守全球各地的各种隐私法,如欧洲的《通用数据保护条例》(GDPR) 和美国的《加州消费者隐私法案》(CCPA)。有关 Akamai 一般隐私声明的详细信息,请访问公司网站上的“隐私信任中心”。
Bot Manager 中的功能完全可通过 API 提供,因此可将其集成到您的 DevSecOps 生命周期中。
Bot Manager 拥有一个包含 1,700 多个已知爬虫程序的库,您也可以针对您或您的合作伙伴创建的任何爬虫程序创建自己的类别。这样可确保不阻止有用的爬虫程序,且不会降低对于对抗性爬虫程序的防御。
Bot Manager 将爬虫程序评分功能生成的见解集成到 SIEM 工具中,供需要更高的集成安全监测能力的客户使用。您可以利用来自 Bot Manager 的见解来充实现有工具,提升其价值。
了解 Bot Manager 如何提供一系列高级措施来帮助缓解对抗性爬虫程序所带来的业务挑战。
即便是良性爬虫程序流量也可能被视作非关键流量。然而,随着越来越多的内容变得动态化,Akamai 等 CDN 将无法缓存内容,从而导致网站速度变慢,让用户倍感沮丧。借助爬虫程序管理,企业可在用户流量高峰时段减慢爬虫程序的速度,并将缓存的内容(而非实时网站内容)提供给爬虫程序。
网络爬虫试图窃取数字内容,并将其用于增加爬虫程序操纵者网站的流量,而不将此流量计入原始内容所有者网站。内容窃取也可能产生欺诈,因为网站也可能被抓取用于创建外观类似的钓鱼网站。此外,电子商务企业往往会抓取竞争对手的定价,以利用最低价格吸引客户。价格抓取也可能是合法的价格比较网站所为。
为增加需求和炒作品牌而生产限量产品的公司经常会遭遇灰色交易,此类交易人员会在这些产品上市后立即将其保存在购物车中。灰色交易人士会设法在 eBay 等其他交易平台上加价销售其购买的各种商品。运动鞋公司、奢侈品牌和消费电子产品制造商常常会遇到这一问题。此外,这也是 Outbox 这样的航空公司或票务公司所面临的一个问题,在此类场景中,爬虫程序会抢占大量座位,然后释放那些位置较差的座位。
电商企业通常会分析用户访问其网站的行为,以确定并满足用户偏好,尽可能提高线上销售额。来自自动爬虫程序的流量可能会扭曲正在分析的数据,导致分析不准确、对用户了解有失偏颇和销售额下降等情况。
虽然许多爬虫程序可视作“良性”爬虫程序,并执行令人满意的活动,但“良性”爬虫程序仍有可能在一天或一个月的某个时间表现得过于激进或不受欢迎。例如,百度就是一个典型的例子,这是一个激进型搜索引擎爬虫程序,它不顾及客户用于指示其爬取网站速度的 robot.txt 文件,使源网站承受了较高的负载,并降低了用户的性能。一些客户会屏蔽百度以减少对性能的影响。
客户不清楚访问其网站的爬虫程序流量,也不了解这些爬虫程序的类别(“良性”/“恶意”)。现今,客户收到性能或可用性问题的告警时,他们通常会采取应对措施,然后只处理头号攻击者。他们并未配备合适的检测、分析或控制工具来助力其采取更加积极主动的措施。
我们将向您演示一次撞库攻击模拟,让您亲身体验 Bot Manager 的以下功能: