什么是爬虫程序检测？

爬虫程序是一种旨在执行特定或重复任务的软件，通常会模拟人类活动。爬虫程序可在无需人为干预的情况下自动执行操作，因此可以取代耗时的手动流程。

许多“良性”爬虫程序会执行有用和必要的活动。

• 网络抓取器（也称为网络蜘蛛）用于检查 Google 和必应等搜索引擎网站上的内容。

• 聊天爬虫程序模拟人类对话，以提供问题的答案，或者指引客户找到资源。

• 监控爬虫程序用于监测系统或网站的运行状况。

网络犯罪分子会使用爬虫程序和爬虫程序网络（即僵尸网络）来执行各种恶意活动。

• 撞库爬虫程序在网站登录页面中输入通过数据泄露事件窃取的用户名和密码，企图获得未经授权的访问权限。

• 库存囤积爬虫程序尝试抢购库存品，造成客户买不到这些产品。

• 垃圾邮件爬虫程序从网站中爬取电子邮件地址，垃圾邮件发送者可利用这些地址来模仿人类行为，发送不必要和恶意的邮件。

• 文件共享爬虫程序会观察用户的搜索查询并提供虚假链接，使攻击者能够用病毒或恶意软件感染计算机。

• 流量爬虫程序模仿真实用户在网络上的活动来提高流量并增加网站的点击率。 

• DDoS 或分布式拒绝服务僵尸网络试图用大量请求使网站不堪重负，从而让网站离线或提出勒索条件，直到其特定的要求被满足。

• 社交媒体爬虫程序在社交媒体平台上创建虚假帐户以支持某些言论或增加用户或社交媒体帐户的粉丝。

• 下载爬虫程序会自动下载软件或恶意软件，以增加下载量并人为地帮助应用程序提高排名。

了解良性爬虫程序与恶意爬虫程序之间的区别意义深远，可以有助于您阻止网络攻击，同时可提高生产力、促进沟通的流量进入。正因如此，许多优秀公司都依靠 Akamai 安全解决方案来实现出色的爬虫程序检测。

Akamai Bot Manager 提供出色的爬虫程序检测和爬虫程序抵御功能，允许良性爬虫程序进入，同时将恶意爬虫程序拒之门外，从而维系客户信任。Bot Manager 依靠多种专利技术，在爬虫程序与您网站的初始接触位置予以拦截，避免其进入您的网站。

Akamai 反爬虫程序功能基于 Akamai Connected Cloud运行。这让 Bot Manager 能够在边缘（即用户初始连接到应用程序的位置）处监控流量。Bot Manager 平均每天审查 400 亿个爬虫程序请求，因此可访问有关流量模式、流量类型和流量的大量干净数据。这样的监测能力让我们的算法能够快速获取有关良性和恶意爬虫程序的更多信息。我们的 400 多名威胁研究人员持续跟踪趋势和攻击模式、技术创新和新的规避行为，从而提高爬虫程序检测能力。

Bot Manager 检测到的每个爬虫程序都会获得一个爬虫程序评分。它会抵御高评分爬虫程序，并监控低评分爬虫程序。对于评分在两者之间的爬虫程序，它还能使用先进的自动化工具发出质询，迫使爬虫程序将 CPU 周期用于解答密码谜题，从而减缓复杂爬虫程序攻击的速度，提高攻击者的成本。

Akamai 客户包括超过 50% 的全球 500 强企业，这让我们能够了解全球部分规模庞大并且采用先进爬虫程序技术的企业的流量。在一家客户处检测到新的爬虫程序时，相关数据会立即添加到所有客户的已知爬虫程序库和算法中，支持更轻松地评估已认定可疑或恶意的爬虫程序。

Akamai 爬虫程序管理解决方案的功能包括：

• 使用机器学习和 AI 模型执行高级爬虫程序检测，支持用户体验和行为分析、浏览器指纹识别和多种检测方法

• 隐蔽式爬虫程序防护，不只有拦截和允许操作，还能使用虚假内容欺骗爬虫程序，拖慢其速度

• 持续更新我们囊括多种已知爬虫程序的目录。

• 报告和分析，可提供实时趋势、行业见解和爬虫程序流量的详尽分析

• 移动应用程序保护，提供覆盖整个攻击面的爬虫程序检测

通过部署 Akamai 的爬虫程序检测解决方案，您可以：

• 建立信任。防止欺诈交易并减少在线体验中的摩擦，确保维系消费者、合作伙伴和用户的信任。

• 降低成本。减少应对爬虫程序攻击的各种后果所需的成本和工作量，例如更换被盗帐户、解决用户投诉、检查被盗帐户和网络流量等。

• 增强控制。提高效率、最大限度地降低风险、减少 IT 支出，并对合作伙伴爬虫程序实施策略性管理。

改善安全态势。详尽的报告仪表板和分析支持可促进有关风险承受能力和 IT 运营的数据驱动型决策，从而帮助加强安全态势。