爬虫程序流量就是指良性或恶意爬虫程序产生的网络流量。流量爬虫程序专门用来虚假地在网站上创建流量、增加社交媒体帐户点赞量，或通过其他方式提高非人为流量指标。
流量爬虫程序的兴起及其危害
流量爬虫程序是一种计算机程序，可在网络上启用，从而为网站和社交媒体创建虚假流量。它们可反复访问网站，从而增加页面浏览量，有可能会提高网站的搜索引擎排名。在社交媒体平台中使用流量爬虫程序可以增加点赞量，有可能会提高帐户的影响力。流量爬虫程序还可用于开展更多非法活动，例如反复点击竞争对手的付费广告，造成其广告预算白白浪费。
在企业网站上产生非人为访问量的爬虫程序流量有很多种，流量爬虫程序在其中仅占很小的比例。根据估计，在当今的所有网站流量中，有多达 70% 的部分来自爬虫程序。聊天机器人或搜索引擎爬取器等技术确实会执行有用的活动，但在所有爬虫程序流量中，有很大一部分源自恶意爬虫程序。
Akamai Bot Manager 提供必要的工具，支持安全团队检测和阻止爬虫程序流量，或在其网站上阻止爬虫程序的活动。借助这一 Akamai 爬虫程序管理解决方案，网站所有者和提供商即可更有效、更安全地运行自动化操作，从而允许良性爬虫程序流量，同时在边缘缓解漏洞和恶意活动。
流量爬虫程序的运作机制
爬虫程序是旨在执行一组特定任务的软件程序。这些自动化应用程序有着快速、精准的特点，能比人类更快、更准确地执行高度重复性的任务。
爬虫程序的编程支持其执行多种活动，包括知识爬虫程序，可从不同网站收集分析数据；还有购物爬虫程序，其编程方式支持从各个网店中寻找最优惠的价格。但还有些爬虫程序是为不正当、恶意或非法的活动设计的。如果黑客使用恶意软件将上千乃至上百万台计算机和设备组成僵尸网络，就能发起大规模攻击，例如分布式拒绝服务 (DDoS) 攻击、 撞库 攻击、暴力破解攻击，以及其他会造成恶劣后果的网络犯罪形式。
流量爬虫程序是爬虫程序的一个具体类别，旨在模拟人类活动，从而增加网页和社交媒体帐户的互联网流量。流量爬虫程序还可用于点击欺诈或广告欺诈，即爬虫程序反复点击那些“按点击量付费”的链接，以此增加收入。流量爬虫程序不一定违法，但它们会增加成本、消耗资源，并且造成企业对合法流量的认知有失偏颇。
在抵御流量爬虫程序或防范恶意僵尸网络流量时，难点在于爬虫程序流量检测引擎并非总能区分良性与恶意爬虫程序。如果未能正确区分，系统有可能屏蔽有用的爬虫程序流量，对工作效率以及网站合法用户的在线体验造成负面影响。为了妥善管理和抵御恶意爬虫程序流量，同时保证不降低性能，安全团队需要找到先进的爬虫程序检测技术，确保在尽可能减少误报的情况下识别恶意活动。Akamai 可助您一臂之力。
使用 Akamai 解决方案管理流量爬虫程序
Akamai Bot Manager 为安全团队提供对爬虫程序的出色监测能力和控制力，从而保护业务，并维系客户的信任。Bot Manager 使用多种专利技术，能在爬虫程序刚开始接触到网站时予以识别，并抵御恶意爬虫程序，避免其影响网站。为了区分良性与恶意爬虫程序，Bot Manager 会分析“干净流量”数据，覆盖大量流量类型、模式和流量，并训练 Akamai 算法识别正常流量的特征，以及良性爬虫程序的工作方式。
Akamai Account Protector 将这些信息与多种检测触发器相结合，提供爬虫程序评分，通过这一准确评估来判断请求有多大可能性来自爬虫程序，又有多大可能性来自人类。Akamai 将根据爬虫程序评分自动发起响应，监控低评分的请求，同时抵御必定来自爬虫程序的高评分请求。针对这两者之间的灰色区域，Account Protector 会向请求提出质询，迫使爬虫程序将 CPU 周期用于解答密码谜题，以此减缓复杂的爬虫程序攻击的速度，提高攻击者的成本。
Akamai 的爬虫程序抵御技术依托于对全球互联网状况的卓越监测能力。在一位 Akamai 客户处检测到新爬虫程序时，其数据会自动添加到已知爬虫程序库中，并体现到 Bot Manager 内的检测算法中。这种 Akamai 技术部署快捷无缝，而且从启用那一刻起就能实现准确评估，实时检测爬虫程序，不会出现延迟，也不会对用户体验和网络性能造成负面影响。
其他爬虫程序管理技术
除 Bot Manager 外，Akamai 还通过 Account Protector 提供针对僵尸网络流量的额外防护。这种 Akamai 解决方案可全方位防护欺诈性的人为登录，还能抵御在帐户接管之前通常会出现的复杂对抗性爬虫程序。
Account Protector 使用行为检测技术，对帐户所有者的典型活动模式进行分析，还能学习设备异常行为和来源的声誉。在收到客户登录请求后，Account Protector 会确定请求属于非法欺诈性请求的风险。这项评估的依据是典型的用户行为，例如所用设备、IP 地址、网络、位置以及登录频率和登录时间等。
Account Protector 也能使用 AI 和机器学习模型和技术检测和抵御有害的爬虫程序，其中包括行为/遥测分析、浏览器指纹识别、自动浏览器检测、高请求率、HTTP 异常检测等。
利用 Akamai Bot Manager，安全团队可以：
准确识别并允许良性爬虫程序，同时抵御可能参与 DDoS 攻击的恶意爬虫程序，例如流量爬虫程序、搜索引擎爬虫程序、垃圾邮件爬虫程序和僵尸网络流量
根据用户和群体的概况分析自动调整爬虫程序检测，提高成功检测率，并尽可能减少误报
最大限度地减少补救造成的后果，减少因调查被盗帐户、更换被盗资产以及向监管和法律机构报告所需的成本和资源
常见问题
爬虫程序是一种经过专门编程的应用程序，目的是执行特定任务，以及在无需人为干预的情况下运行。合法爬虫程序会执行非常有用的活动。例如，聊天机器人可以帮助客户找到问题的答案或浏览网站。网络抓取爬虫程序可编制网站内容索引，从而为搜索引擎提供支持。但也有些爬虫程序是恶意的，例如从网站中爬取电子邮件地址的垃圾邮件爬虫程序，或是企图猜测用户帐户登录凭据的爬虫程序。
流量爬虫程序旨在虚假提高网站或社交媒体帐户的流量指标。流量爬虫程序还可用于反复点击网站上的付费广告链接，以增加按点击量付费业务的收入，或是浪费竞争对手的广告预算。
会，爬虫程序流量会影响到搜索引擎优化 (SEO)。搜索引擎在确定网站质量时会考虑爬虫程序流量。如果某个网站存在大量的爬虫程序流量，搜索引擎可能会将其视为可疑，这会对该网站在搜索引擎结果中的排名产生负面影响。
- 监控 IP 地址：留意向您的网站发出请求的 IP 地址。如果您看到同一 IP 地址在短时间内发出多个请求，那么这很可能是爬虫程序。
- 监控 user-agent 字符串：大多数爬虫程序的请求中都包含 user-agent 字符串，用来将其标识为爬虫程序。通过跟踪 user-agent 字符串，您就可以确定请求何时来自爬虫程序。
- 监控页面请求：如果您注意到对特定页面或特定一组页面的请求数量非常多，则可能是爬虫程序活动的迹象。
- 跟踪页面加载时间：如果某些页面的页面加载时间似乎非常短，那么可能表明爬虫程序在爬取您的内容。
- 监控表单提交：如果您发现大量表单提交了不完整或无效的数据，则可能是爬虫程序企图提交垃圾内容的迹象。
客户为什么选择 Akamai
Akamai 支持并保护网络生活。全球各大优秀公司纷纷选择 Akamai 来打造并提供安全的数字化体验，为数十亿人每天的生活、工作和娱乐提供助力。 Akamai Connected Cloud是一个大规模分布式边缘和 云平台，让应用程序和体验更靠近用户，帮助用户远离威胁。