美国新闻与世界报道

现状

U.S. News & World Report 成立于 1933 年，它是一家多平台新闻和信息出版商，其旗下有 www.usnews.com 网站，每年都会发布纸质和电子书版本的 《Best Colleges》（最佳大学）、 《Best Graduate Schools》（最佳研究生院） 和《Best Hospitals》（最佳医院）权威排名。2012 年，美国新闻与世界报道成立了一个会议部门，侧重于报道 科学/技术/工程/数学教育 和 未来医疗保健方面的全国性重要会谈和解决方案。U.S. News 聚焦于健康、个人金融、 教育、 旅游、 汽车、 新闻 和 观点，被认为是提供改善读者生活质量的服务新闻和信息的领先提供商。U.S. News & World Report 的标志性特许经营产品包括《Consumer Advice》（消费者建议）和《Best》（最佳）系列消费者指南，其中包括 学院、 研究生院、 高中、医院、疗养院、共同基金、保健计划、饮食等方面的排名。

挑战

作为以数字化为中心的媒体机构，U.S. News & World Report 依靠其独特而引人入胜的内容，把访问者吸引到它的网站。目前每个月有超过 3,000 万决策者访问该网站，带来了 1.6 亿的页面浏览量，同比 (YoY) 增长 20%。¹ 企业寻求接触他们的受众（接受过教育的专业人士、商业领袖和政策制定者），而 U.S. News 通过向这些企业出售广告和赞助机会，从网站内容中获利。

美国新闻与世界报道的知识产权包括越来越多领域中备受期待的排名。对美国新闻与世界报道来说，在网上免费提供这些内容能让它的观众更容易看到，有利于提高其自然搜索排名。然而，这也使得独立的第三方更容易通过自动化爬虫程序窃取这些内容，并将其放在他们的网站上用于其他用途。这导致了访问者的转移，还可能影响到广告收入。高级工程总监 Matt Kupferman 称：“U.S. News & World Report 其实明白，一些个人团体在挪用我们的数据，私自发布并得到更高的搜索排名。”

目标

为了支持实现业务目标，U.S. News & World Report 需要满足一些要求：

• 收入保护。 美国新闻与世界报道想要发现并阻止第三方窃取它的网站内容，并将排名数据用作它途。
• 利用可见性更大的爬虫程序来减少开销。 由于缺少解决方案，美国新闻与世界报道不得不手动筛选并分析日志，从而识别并阻止正在窃取其网站内容的爬虫程序。
• 大规模性能。 有了 20% 的同比增长率，美国新闻与世界报道希望确保源站负载不会损害合法用户的使用性能。
• 综合性爬虫程序管理。 美国新闻与世界报道想对爬虫程序进行精细观察，以便更好地了解网站来访者，以及是谁在驱动爬虫程序运行。

为什么选择 Akamai？

保护和提高数字化收入
对于 U.S. News 而言，部署 Akamai Bot Manager 解决方案的最大业务推动因素是保护大量排名数据免受 Web 抓取。Kupferman 说道：“通过确保我们是数据的权威来源，我们能够将更多的有机搜索流量汇集到网站，从而通过这些访问量盈利。”防止广告和赞助收入被第三方网站分刮直接支持了其业务，并进一步确保了在纯数字世界里，美国新闻与世界报道仍然有其经济可行性。

此外，通过部署 Bot Manager，美国新闻与世界报道能够接触到卫生保健数据提供者愿意发布的，以纳入其保健内容的其他数据。为了继续扩大读者基础、吸引对广告伙伴有价值的观众，美国新闻与世界报道制定了战略，其中至关重要的一点，就是寻找新的方法来增加内容价值。

更好地监测爬虫程序
与任何在线业务一样，能够更好地监测访问其网站的流量，这对于 U.S. News 来说是一个巨大的优势。Kupferman 说：“能够洞察谁在你的网站上爬找真的非常有趣。即使在监控模式下，你也能了解到许多关于你的流量来自哪里的信息。”更好地监测爬虫程序 - 通过 Akamai Control Center 轻松地实时监测 - 使得 U.S. News 能够更好地了解其他第三方正在如何使用它创造的内容。

在云端扩展业务
在选择 Bot Manager 之前，U.S. News 曾尝试使用其现有的 Web 应用程序防火墙 (WAF) 手动管理爬虫程序流量，甚至曾短暂考虑过构建自己的内部解决方案。在对 Akamai 进行尽职调查时，它还调查了其他的爬虫程序管理方案，那些都要在本地数据中心内部署。然而，美国新闻与世界报道有一个巨大优势，就是 Bot Manager 在同一平台作为它的 CDN 运行。

Kupferman 解释说：“我们有许多并不特殊的请求，所以我们非常依赖超高速缓存。Bot Manager 是唯一能以 CDN 级别运行的解决方案。我们寻求的其他解决方案要求我们放弃高速缓存。现在，我们不用放弃了。”有了 Bot Manager，美国新闻与世界报道能够减少其源站 20% 的负载，从而减少基础设施成本，并为读者保持了网站性能。并且，通过更好地管理爬虫程序流量对 IT 的影响，美国新闻与世界报道能够更好地扩大其网络基础设施，以更有效地支持其业务增长。

全包式解决方案
与 Akamai CDN 集成的优势不局限于减少源站负载。从 IT 的角度来看，不需要以任何方式改变现有基础设施的占用空间，同样具有吸引力。“成为一套全包式解决方案，而不需要重新设计所有的东西，这是至关重要的。有了 Bot Manager，我们就可以拨动开关立即看到。为了在边缘实现真正的整合，这是唯一符合这一案例的东西。”Kupferman 总结道。