企业可以通过部署爬虫程序管理解决方案来防止爬虫程序和僵尸网络干扰系统或影响用户体验。出色的反爬虫程序解决方案将允许非恶意爬虫程序活动，同时阻止恶意活动和僵尸网络攻击。务必要记住，即使是非恶意爬虫程序也需要管理。高级爬虫程序安全解决方案支持使用特定技术，例如在您的网站有大量真实用户流量时减缓非恶意爬虫程序的速度。
什么是爬虫程序？它有哪些不同类型？
爬虫程序是一种计算机程序，旨在通过执行自动化或重复性任务来模仿或替代人类的操作。爬虫程序执行任务的速度和准确性比真实用户高得多。爬虫程序类型众多，可执行各种任务，并且爬虫程序在互联网流量中的比重也越来越大。
爬虫程序在互联网上扮演着各种各样的角色，超过一半的网络流量是由爬虫程序产生的。有些爬虫程序非常有用，例如，搜索引擎爬虫程序，这种爬虫程序有助于搜索引擎了解网站内容以返回更准确的搜索结果。聊天爬虫程序可以快速解答客户和用户的提问。许多公司会创建自定义爬虫程序来自动执行内部任务和合作伙伴任务。
有些爬虫程序是“灰色”爬虫程序，没有恶意，但在某些情况下令人讨厌。这些爬虫程序可能合法但干扰性大。例如，来自其他程序的 API 频繁调用您的系统，或者合作伙伴爬虫程序不断对您的站点执行 ping 操作。在许多情况下，您不想阻止这些爬虫程序，只想减缓其速度或更有效地进行管理，以确保不会降低您的网站性能并对您的用户体验产生负面影响。
需要担心的爬虫程序是恶意爬虫程序，即网络犯罪分子用来执行造成用户损失的危险攻击的对抗性恶意爬虫程序，这些攻击包括囤积库存、窃取数据、抓取网站内容和定价信息、在网站上启动被盗凭据以确认有效凭据，甚至运行分布式拒绝服务攻击。恶意爬虫程序通常是僵尸网络的一部分，僵尸网络即一组联网的爬虫程序协同工作以大规模执行这些攻击。
设计爬虫程序的目的是什么？
多数爬虫程序会执行合法、有用或必要的服务。
- 搜索引擎爬虫程序在网站中“快速搜索”以确定网站所包含的内容类型。
- 网络内容抓取爬虫程序从网站读取和收集数据。
- 聊天爬虫程序模拟人类对话，为用户提供客户服务、常见问题解答或一般知识。
- 购物爬虫程序在网络上搜索较为优惠的价格，自动执行浏览和结帐流程。
- 监控爬虫程序密切关注网站的运行状况，并在检测到错误或波动时发布报告。
什么是恶意或不良爬虫程序？
一些爬虫程序被用于网络攻击、僵尸网络攻击或其他非法目的。
- 撞库 爬虫程序会使用密码破解工具在未经授权的情况下访问用户帐户，并窃取会员积分和信用卡信息等资产。
- 库存囤积爬虫程序会抢夺限量供应的高价值商品，例如运动鞋、游戏机和音乐会门票，从而阻止真实用户购买。
- 垃圾邮件爬虫程序会搜索网站以获取电子邮件地址，从而供垃圾邮件发送者使用。
- 文件共享爬虫程序会观察用户的搜索查询并提供虚假链接，使攻击者能够用病毒或恶意软件感染计算机。
- 流量爬虫程序模仿真实用户在网络上的活动来提高流量并增加网站的点击率。
- DDoS 或分布式拒绝服务僵尸网络试图用大量请求使网站不堪重负，从而让网站离线或提出勒索条件，直到其特定的要求被满足。
- 社交媒体爬虫程序在社交媒体平台上创建虚假帐户以支持某些言论或增加用户或社交媒体帐户的粉丝。
- 下载爬虫程序会自动下载软件或恶意软件，以增加下载量并人为地帮助应用程序提高排名。
借助 Akamai 防御爬虫程序攻击
Akamai 被 Forrester Research 评为爬虫程序管理领域的领导者，它提供的反爬虫程序解决方案可以检测爬虫程序，识别其是否为恶意爬虫程序，然后在不影响系统性能的情况下阻止爬虫程序和其他威胁。
Akamai Bot Manager是我们的滥用和欺诈防御产品套件的一部分，可深度监测和控制您系统内的爬虫程序网络活动。Bot Manager 拥有出色的检测和抵御功能，让您能够更有效、更安全地运行自动化操作，提升您整个生态系统的可信度。
Bot Manager 使用多项获得专利的机器学习技术进行爬虫程序检测和抵御，在初始接触点阻止恶意爬虫程序活动和僵尸网络攻击，而非允许它们先到达您的网站。为了了解爬虫程序和僵尸网络的活动，我们依靠人工智能框架来监控用户首次连接到应用程序的边缘的流量模式、流量类型和流量。
在整个网络中，我们的技术平均每天处理 400 亿次爬虫程序请求。当我们的威胁研究人员分析 TB 级的新攻击数据时，这种监测能力使我们的算法能够了解更多信息并更快地学习。Akamai 的威胁情报团队平均每天分析 946 TB 的数据。
Akamai Bot Manager 的主要功能包括：
- 已知爬虫程序目录。 Bot Manager 使用一个持续更新的已知爬虫程序目录，自动应对现有的已识别爬虫程序威胁。
- 高级爬虫程序检测。 Bot Manager 依靠用户行为分析、浏览器指纹识别、自动浏览器检测、HTTP 异常检测和其他数据点，从第一次交互中准确检测未知爬虫程序。
- 评分模型。 Bot Score 评估每个请求并计算请求来自爬虫程序而非真实用户的可能性（从 0 到 100）。
- 自定义设置。 为每个端点设置不同的策略性响应。
- 自动调整。 Bot Manager 了解您网站的正常流量模式，并根据您的独特模式自动调整检测，以尽可能避免造成对请求的潜在错误分类。
- 响应调整模拟器。 借助 Bot Score，您可以（在将策略付诸实施之前）模拟您的调整，直观地了解更改阈值造成的影响。
- 精细的报告时段。 实时和历史报告提供对整体趋势的监测情况以及对爬虫程序和僵尸网络流量的详细分析。
- Managed Security Service。 借助这项可选服务，我们的专家能够优化 Bot Manager，而不会给您的内部团队带来负担。
此外，Akamai 还提供专门构建的 网络安全解决方案，以防御复杂的大型自动化爬虫程序攻击，例如撞库和囤积库存。 Bot Manager 与我们的交付方式一致，因此您可以通过单一平台查看爬虫程序攻击以及其他攻击，如 DDoS 攻击、网络钓鱼、恶意软件、勒索软件以及利用应用程序和 API 漏洞。
常见问题
僵尸网络是由计算机、物联网 (IoT) 设备和其他设备组成的网络，它们协同工作以发起大规模的自动攻击。这些僵尸网络通常包含感染了恶意软件的设备，而这类设备的所有者甚至没有意识到他们正在以这种方式被利用。网络犯罪分子利用这些受感染的设备，通过使用命令和控制软件对网络或系统进行协同攻击。僵尸网络和僵尸网络恶意软件通常涉及各种攻击媒介，包括上述不良爬虫程序：库存囤积、撞库、网络抓取和 分布式拒绝服务等。
虽然它们可能被认为是恶意程序，但爬虫程序执行的操作不一定非法。例如，如果爬虫程序执行的活动违反了网站的服务条款，就可以称之为恶意爬虫程序，但该爬虫程序不一定违反任何法律。但是，撞库以及相关的帐户接管是非法行为。根据获得的物品情况，库存囤积也可能是非法行为。
客户为什么选择 Akamai
Akamai 是一家专注于网络安全和云计算的公司，致力于支持并保护在线商业活动。我们卓越的安全解决方案、出色的威胁情报和全球运营团队可提供深度防御，保护各地的企业数据和应用程序。Akamai 的全栈云计算解决方案可在全球分布广泛的平台上提供高性能和经济实惠的服务。全球多家企业坚信，Akamai 能够提供卓越的可靠性、规模和专业知识，帮助企业满怀信心地实现业务增长。