反爬虫程序技术旨在检测和抵御可疑或恶意的爬虫程序，防止它们进入企业的网站或 IT 生态系统。反爬虫程序解决方案使用由威胁情报支持的检测引擎来识别爬虫程序活动，允许来自良性爬虫程序的流量，同时抵御恶意爬虫程序。
用反爬虫程序解决方案保障信任
爬虫程序是当今在线业务的一个组成部分，在网站流量中的占比多达 70%。许多公司采用爬虫程序技术来提高生产力和效率，执行有用的任务和重复任务（不使用爬虫程序的话，则需要人工干预）。
但是，一些爬虫程序从事恶意或非法活动，比如发送垃圾邮件，为黄牛买票，或扫描软件中可供网络犯罪分子利用的漏洞。了解良性爬虫程序和恶意爬虫程序之间的区别，这对于保护您的 IT 资产以及提供卓越的用户体验和维护客户信任至关重要。
合适的反爬虫程序系统可以提供帮助。通过检测和抵御恶意爬虫程序，同时允许合法爬虫程序流量畅通无阻，Akamai Bot Manager 提供了一个反爬虫程序解决方案，使自动化操作更有效、更安全地运行。
为什么反爬虫程序技术必不可少
爬虫程序可分为两个基本类别：有用或无害的爬虫程序，以及恶意或可疑的爬虫程序。
互联网上大量的爬虫程序活动都是由良性爬虫程序完成的。例如，聊天机器人可执行电子商务功能，提供自助服务选项以与用户互动。监控爬虫程序执行有用的任务，比如屏蔽报告被盗的信用卡上的敏感数据。搜索引擎爬虫程序为 Google 或 Bing 等搜索引擎索引网站上的内容。
部署恶意爬虫程序是为了满足各种怀有恶意的目的：
- 社交媒体爬虫程序以人为方式提高社交媒体网站上的关注者数量、查看数或点赞数，以获取经济利益或影响。
- 下载爬虫程序可自动下载软件或移动应用程序，以提高下载统计数据。
- 库存囤积或票务爬虫程序可购买并转售大量票证以获取利润，从而抢夺合法用户以实惠价格购买商品的机会。
- 垃圾邮件爬虫程序从网站收集电子邮件地址，这些地址可用于发送垃圾邮件。
- 攻击者还利用爬虫程序扫描系统，寻找他们可以通过直接攻击利用的已知漏洞。
- 作为大型 僵尸网络的一部分，爬虫程序可以进行分布式拒绝服务 (DDoS) 攻击，使网站和服务器对合法用户不可用。
显然，反爬虫程序技术对于阻止恶意活动和保护企业免受广泛的威胁至关重要。但是，任何反爬虫程序解决方案也必须承认并允许良性爬虫程序进行重要的工作流程活动，以帮助公司开展竞争。Akamai 可助您一臂之力。
Akamai Bot Manager
Akamai Bot Manager 阻止危险的规避式爬虫程序和 僵尸网络流量 ，以免它们侵蚀客户的信任，与此同时允许良性爬虫程序执行基本任务。Akamai 的反爬虫程序技术部署了出色的检测和抵御功能，在恶意爬虫程序最初接触的地方阻止它们，而不会让它们首先到达网站。Akamai 的检测引擎根据我们的威胁研究团队提供的最新情报不断进行更新，确保识别和抵御爬虫程序的准确度更高。
Bot Manager 可在最终用户与您的 IT 生态系统交互的任何地方部署反爬虫程序保护措施，即端点（通过 Web）、原生移动应用程序或 API。我们的 网络安全 技术甚至可以涵盖从一个域到另一个域的请求，确保拥有多个品牌或业务的公司不会在保护范围上存在漏洞。
Akamai 的反爬虫程序技术使用爬虫程序评分，该评分可评估请求来自爬虫程序和人类的可能性。高分请求（肯定是由爬虫程序驱动的请求）可以被迅速抵御，而低分请求可以得到观察或监控。可以通过一些优秀质询来对处于“灰色地带”的请求进行质询。例如，我们的“加密挑战”迫使爬虫程序将 CPU 周期花在象形文字谜题上，使攻击速度减慢，增加了黑客的成本。
Bot Manager 的主要功能包括：
- 已知爬虫程序目录已知爬虫程序的目录使 Bot Manager 能够自动对这些爬虫程序做出适当的反应。
- 动态爬虫程序检测。使用 AI 和机器学习模型和技术，Bot Manager 可以准确地检测出首次交互的未知爬虫程序。
- 每个端点的自定义设置。可以针对每个端点对爬虫程序评分进行战略调整，设置触发特定响应的自定义阈值。
- 自动调整。Bot Manager 通过学习网站的正常流量模式和调整响应通知来自动调整检测，以避免潜在的请求分类错误。
其他反爬虫程序解决方案
Akamai Account Protector 在一个旨在防范帐户接管攻击的解决方案中，提供额外的反爬虫程序验证技术。由于在复杂的爬虫程序流量出现之后往往会发生帐户接管攻击，因此 Account Protector 使用有人监控和无人监控的算法，以捕捉和抵御首次交互的恶意爬虫程序。
为了阻断爬虫程序攻击，Account Protector 使用行为检测来分析帐户所有者的典型活动模式、设备异常情况和来源的声誉。当收到登录请求时，此 Akamai 解决方案会实时评估该请求是欺诈性登录尝试（而不是来自合法帐户所有者的请求）的风险。Akamai 的评估基于典型用户行为档案（可能包括通常使用的设备、IP 地址、网络、地点以及登录的频率和时间）中的异常情况。
Account Protector 还提供反爬虫程序保护，以防范参与自动大规模攻击的僵尸网络。利用行为/遥测分析、自动浏览器检测、高请求率、HTTP 异常检测、浏览器指纹和其他检测，Account Protector 可检测并抵御有害爬虫程序，以防止欺诈活动，同时仍然保持顺畅的用户体验。
常见问题
爬虫程序是一种计算机程序，旨在模仿人类活动并自动完成某些任务。爬虫程序通常被用来执行重复性任务，它们可以比人类更快、更准确地执行这些任务。“良性”爬虫程序执行有益或有用的活动，“恶意”爬虫程序则被用于恶意活动。
网络犯罪分子和垃圾邮件发送者使用爬虫程序来进行各种网络攻击和非法活动。爬虫程序可能被用来为垃圾邮件发送者收集电子邮件地址，在黄牛操作中购买和转售票证，重复下载应用程序以增加下载指标，或通过模仿真正的关注者来提升社交媒体帐户。攻击者还可能使用称为“僵尸网络”的爬虫程序部队来进行帐户接管攻击，执行撞库，或发起分布式拒绝服务 (DDoS) 攻击。
客户为什么选择 Akamai
Akamai 支持并保护网络生活。全球各大优秀公司纷纷选择 Akamai 来打造并提供安全的数字化体验，为数十亿人每天的生活、工作和娱乐提供助力。 Akamai Connected Cloud是一个大规模分布式边缘和 云平台，让应用程序和体验更靠近用户，帮助用户远离威胁。