爬虫程序抵御的任务是拦截恶意爬虫程序或僵尸网络活动访问网站、服务器或 IT 生态系统。爬虫程序抵御需要能够识别恶意爬虫程序和良性爬虫程序的技术，即使爬虫程序操纵者修改爬虫程序或使其变异以试图规避爬虫程序管理解决方案的检测，该技术也能加以识别。
爬虫程序抵御的任务是拦截恶意爬虫程序或僵尸网络活动访问网站、服务器或 IT 生态系统。爬虫程序抵御需要能够识别恶意爬虫程序和良性爬虫程序的技术，即使爬虫程序操纵者修改爬虫程序或使其变异以试图规避爬虫程序管理解决方案的检测，该技术也能加以识别。
爬虫程序抵御的基本功能
在选择爬虫程序抵御解决方案时，关注以下几个关键特点和功能将有助于您达成爬虫程序管理目标。
- 有效性。 尽管每种爬虫程序抵御解决方案都能检测爬虫程序，但出色的技术必须能够检测您可能遇到的高度复杂的爬虫程序。
- 恢复能力。 尽管许多解决方案最初都能检测到爬虫程序，但一旦爬虫程序开始变异，这些解决方案便无能为力了。出色的解决方案会随着时间的推移不断学习和演进，从而长期持续抵御爬虫程序。
- 更少的误报。 拦截爬虫程序不应妨碍业务开展。拦截人类或良性爬虫程序的解决方案会导致生产力下降。出色的解决方案具有自动调整功能，可最大限度地减少误报。
- 监测和报告。 对于有可能拦截用户的解决方案，您需要精细的监测和报告功能，使您能够重点分析特定的爬虫程序、僵尸网络以及爬虫程序特征。
- API 防护。 除非您的爬虫程序抵御技术能够保护您的 API，否则爬虫程序会轻易地从网页迁移到 API。
- 广泛的防护。 虽然部分爬虫程序管理解决方案的设计初衷是解决单一问题，但出色的解决方案应全方位抵御恶意爬虫程序流量，不论其影响的是整个网站还是特定网页都是如此。
选择合适的爬虫程序抵御解决方案
Akamai Bot Manager
说明 Akamai Bot Manager 所利用的过程的图片
Akamai 的 爬虫程序管理解决方案Bot Manager 可提供上述基本功能及更多功能。凭借多种专利技术，Bot Manager 在爬虫程序刚开始接触您的网站时便及早检测和抵御，避免其进入您的网站。Bot Manager 的检测和分析技术可根据我们安全情报组的深入见解进行自动更新。该安全情报组每天分析 946 TB 的新数据，进而提升爬虫程序抵御功能。
Akamai Bot Manager 可在贵公司与客户和合作伙伴交互的任何地方提供保护，包括通过网络、原生移动应用程序以及 API 等端点的交互。此外，我们的技术还可对跨域、跨品牌或跨业务请求提供保护，确保实现全方位保护。
凭借 Akamai 的爬虫程序抵御技术，您能够：
- 更精准地识别和抵御爬虫程序。 Bot Manager 是 Akamai Connected Cloud 的一部分，它使用 AI 框架观测边缘（即用户初始连接到应用程序的位置）处的流量来了解爬虫程序。Bot Manager 每天观测 400 亿个爬虫程序请求，收集关于流量模式、流量类型和流量的干净数据，改进我们的爬虫程序检测算法，从而更精确地识别和阻止爬虫程序。
- 优化检测而不增加延迟。 Bot Manager 通过整合所有检测触发器，识别复杂的爬虫程序并更准确地评估每项请求，为各个爬虫程序提供爬虫程序评分。爬虫程序评分细分为三个范围，每个都具有明确的响应策略。对于评分低的爬虫程序，会进行观察或监控，而对于评分高的爬虫程序，则进行积极抵御。对于评分居中（即处于灰色地带）的爬虫程序，会通过前沿质询来确定请求是来自人类用户，还是来自良性爬虫程序或恶意爬虫程序。
- 快速部署。 Bot Manager 可快速进行无缝部署，从而实时检测爬虫程序，不会出现延迟，也不会影响网站或网络性能。凭借 Akamai 平台的庞大容量，Bot Manager 还可轻松扩展，适应流量高峰。
- 持续改进。 由于 Akamai 为世界上一些规模庞大、知名度较高的公司提供保护，因此我们见识过许多尤为先进的爬虫程序攻击和高度复杂的爬虫程序流量。若为一家客户检测到新的爬虫程序，相关数据和深入见解会立即添加到我们的爬虫程序库和算法中，进而惠及 Akamai 的所有客户。
爬虫程序抵御和其他主要功能
Bot Manager 的主要功能包括：
- 已知爬虫程序目录。 我们的爬虫程序目录会随着新爬虫程序的发现而不断更新。
- 动态检测。 Bot Manager 使用了各种 AI 和机器学习模型，在与未知爬虫程序首次交互时就能准确检测出该爬虫程序。此外，还使用了包括用户行为分析、自动浏览器检测、高请求率、HTTP 异常检测以及浏览器指纹在内的各种技术。
- 爬虫程序评分。 Bot Manager 检测到的每个爬虫程序都会获得一个爬虫程序评分，以此来表明请求是来自爬虫程序还是来自人类的可能性。
- 自定义设置。 Bot Manager 具备为每个端点设置不同的策略性响应，以响应不同阈值的爬虫程序评分。
- 自动调整。 随着爬虫程序发展变化，Bot Manager 会学习正常的流量模式，并自动调整检测，避免出现请求分类错误这种情况。
- 附加响应操作。 爬虫程序抵御选项不局限于简单的拦截与允许，您可选择提供替代内容、实行质询机制、拖慢爬虫程序攻击速度等选项。
- 精细分析和报告。 Bot Manager 提供对整体趋势的监测情况，以及对单个爬虫程序和爬虫程序流量的详细分析。
- 托管服务模式。 Akamai Managed Security Service 提供部署 Akamai 专属专家的选项，监控和提供主动响应建议，优化爬虫程序抵御，而不会给您的内部团队增加负担。
常见问题
爬虫程序是一种旨在执行特定任务或模拟人类活动的软件应用程序。爬虫程序的编程支持独立运行，通常可自动执行高重复性的任务，而无需人工干预。爬虫程序有许多类型，一些是有益的，一些则为恶意的。
虽然聊天机器人和网络抓取器之类的爬虫程序能执行有用的服务，但许多爬虫程序专为恶意和非法目的而部署。有些爬虫程序的设计初衷可能是发布虚假的商业评论，或重复下载应用程序以提高下载量。流量爬虫程序可在网站和社交媒体上产生虚假流量，增加指标，从而获取经济利益或更大的影响力。爬虫程序网络使用数千甚至数百万台被劫持的计算机作为爬虫程序，实施撞库攻击、分布式拒绝服务 (DDoS) 等攻击。一些网络犯罪分子甚至提供僵尸网络服务，实施爬虫程序驱动的网络攻击，并收取费用。
爬虫程序攻击是使用恶意爬虫程序，或通过互联网运行自动化任务的软件应用程序发动的自动攻击。它们的设计初衷均为高速执行重复性任务，并且无需人工干预。爬虫程序攻击通常用于传播恶意软件，发送垃圾邮件或网络钓鱼电子邮件，发动 DDoS 攻击或从网站上抓取内容。
客户为什么选择 Akamai
Akamai 支持并保护网络生活。全球各大优秀公司纷纷选择 Akamai 来打造并提供安全的数字化体验，为数十亿人每天的生活、工作和娱乐提供助力。 Akamai Connected Cloud是一个大规模分布式边缘和 云平台，让应用程序和体验更靠近用户，帮助用户远离威胁。