经济损失惨重？巧用 LLM 安全解决方案排忧解难。
编辑和评论补充：Tricia Howard
身为企业的首席信息安全官，您的职责是预见并抵御新兴的网络安全威胁。今年闪亮登场的大语言模型 (LLM) 不仅是新兴技术，也可能暗藏危险。首字母缩略词 LLM 不仅仅表示“大语言模型”， 如果未针对您的环境进行妥善的网络安全评估，LLM 也可能意味着“large loss of money（经济损失惨重）”。这些 AI 驱动的系统有望提高效率并实现创新，但 LLM 表面之下潜藏的网络安全风险也可能会给贵企业带来财务灾难。
企业财务状况和声誉可能面临风险
您的公司可能已经开始使用 LLM，您自己也可能在使用它们。其他高管领导层可能已将重点放在为公司的客户和/或员工构建专有的 LLM 上。虽然“首日收益”可能会在短期内显示出效率和生产力得以提升，但需要从长远的角度来考量 LLM。未经全面的网络安全评估便将 LLM 整合到您的业务中，可能会产生漏洞，最终造成巨大的经济损失。
此外，您还需要思考，如果 LLM 生成了有害或冒犯性内容并影响到客户信任和品牌完整性，又会产生怎样的声誉损失。为了解答您的疑问，帮助更多人在波涛汹涌的 AI 浪潮中踏浪前行，我们特别撰写了本博文。
复杂的新攻击面
LLM 是一种复杂的新攻击面，大多数企业尚未窥得其全貌，这在任何重大的技术变革中已经司空见惯。我们需要由内而外地考虑我们的攻击面。从提示注入到数据外泄，LLM 为老练的网络犯罪分子提供了新的攻击媒介。
对这些新技术而言，执行以安全为重点的审核至关重要。进行尽职调查对任何新技术的应用都是一条很好的经验法则，对 LLM 来说尤为重要。防御者只了解到了这些技术领域的皮毛，而攻击者没有错综复杂的组织结构束缚，这让他们获得了不公平的优势。攻击者没有股东需要安抚，即使攻击失败，他们也只需要继续尝试新的方式。但是您不同，您首先需要保护自己的企业。
如果未进行妥善的网络安全评估便实施 LLM，会带来怎样的财务风险？
虽然我们生活在由比特和字节构成的网络世界中，但金钱的重要性不容忽视。网络框架只是众多工具中的一个，为了更好地完成工作，您需要使用 正确的工具。
在构建时，大多数网络安全评估框架的初衷并不是为了对 AI 相关攻击造成的 经济损失 进行排名。这些技术框架仅仅是框架而已。它们并不是包罗万象的。即使 可以 估算出漏洞造成的损失，它们也肯定不会向您展示一个看起来微不足道的漏洞如何升级为数百万美元的严重危机。随着更多的 LLM 融入我们的日常生活，这些风险将会持续增大。
攻击者可以通过哪些方式来操纵 LLM？
通过利用 LLM，攻击者造成巨大影响所需的时间大幅缩短。想象一下，攻击者操纵您的 LLM 来泄露专有数据或启动有害命令。只需数分钟，您的企业便会面临前所未有的经济和声誉损失。
LLM 漏洞会泄露您的客户信息、知识产权或内部机密等敏感数据。应对此漏洞的财务成本非常高昂，可能会面临监管罚款、漏洞通知以及代价高昂的补救工作。值得一提的是，有 60% 的小型企业在发生数据泄露后的六个月内倒闭。此外，还要注意 《通用数据保护条例》(GDPR) 的罚款，最高可达企业全球收入的 4%。
恶意提示可能会触发未经授权的行为，从而导致系统关闭。更糟糕的是，攻击者可能会获取对关键系统的访问权限。离线后，您的业务能够存活多久？根据 Gartner的数据，IT 停机的平均损失为每分钟 5,600 美元，还需要将其乘以数小时甚至数天的停机时间。
攻击者可以操纵 LLM 来生成欺诈性内容或进行虚假交易。在金融行业等受到严格监管的行业中，一次欺诈性交易便可能会带来罚款、导致失去合约以及面临诉讼。总损失呢？可能达到数百万美元。
在 LLM 安全方面，企业声誉受损是一种最为隐蔽的威胁。一次失误（例如，不当输出或侵犯隐私）就会造成无法弥补的声誉损失。如今的市场竞争比以往任何时候都更加激烈，并且客户信任很脆弱。失去客户信任可能会带来永久性的收入损失，因为客户会转向您的竞争对手。
声誉损失是一颗财务定时炸弹
当涉及 LLM 的事件公之于众时，就不仅仅是面临法律罚款或监管措施的问题了。即使没有直接的漏洞或技术故障，客户也会失去信心。
与传统网络威胁不同，LLM 基于对话的界面本身就构成严重风险，因为输出看似是无害的人类语言，实际上可能会变为危险的恶意内容。我们都知道言语会伤人，但这些言语也会损害您的技术。
一种“更柔和”但更隐蔽、更难以预测的威胁
LLM 带来的威胁远比您的安全团队所能应对的传统网络风险更加隐蔽、更难以预测。在传统威胁中，攻击面通常具有很强的技术性，由目标的技术或特定应用程序流程所界定。
但是，对于 LLM，“协议”是自然语言，这极大地扩展了攻击面，并使得操纵技术超越了传统的技术漏洞，能够进行类似人类的操纵。多年以来，社会工程一直是对人进行攻击的首选方法；现在，同样的概念也可以用来对付我们的技术。
在我们对多个数据集中提示注入漏洞的研究中，大量案例都导致了声誉受损。这些案例涉及恶意、冒犯性、有偏见或受操纵的输出内容，以及 LLM 给出偏离开发者真实意图的意外回复。我们都看到了恶意行为对人类产生的负面影响，并且我们的技术越接近人类大脑，我们就越需要警惕这些“更柔和”的技术威胁。
您可以采取什么措施来防范 LLM 威胁？
LLM 不只是让您拥有了一项新的技术工具，它们也带来了广泛的、具有独特风险的新攻击面。如果不仔细地对这些系统进行安全漏洞和财务风险评估，您可能会给自己带来灾难性影响。因此，请务必确保您部署的任何 LLM 安全解决方案都包含四个关键方面：
- 提示安全控制措施（提示注入保护）
- 沙盒处理和分段
- 行为分析整合
- 严格的审计跟踪
提示安全控制措施（提示注入保护）
您的 LLM 安全解决方案应该包括对输入和输出的全面提示内容过滤，以检测和阻止提取专有数据的尝试，以及用于阻止 LLM 操纵的防御性提示工程技术。这应该包括上下文提示限制和验证检查，以防止执行有害命令。
沙盒处理和分段
它应确保 LLM 交互都经过了沙盒处理，并且 LLM 环境与关键运营系统相隔离，以防止执行未经授权的命令。微分段是任何 Zero Trust 框架的关键部分。如果您尚未开始转向 Zero Trust，那么现在是最佳时机。能否快速识别发生横向移动的位置并阻止它，这是告警与事件之间的区别。
行为分析整合
您的 LLM 安全产品应该使用行为分析来建立典型 LLM 交互的基准。它应该标记并验证非典型行为，以识别潜在的欺诈性或未经授权的活动。
要确保 LLM 的安全，您需要将它们视为具有极快处理能力的人类。依靠您的社会工程师和“人类黑客”来制定策略，以保护这些具有超强能力的技术人类。
严格的审计跟踪
维护 LLM 交互的全面审计日志以跟踪输入、输出和交易，这对于成功实现 LLM 安全至关重要。这对于事件后调查也很有价值，可以快速评估和解决欺诈行为。众所周知：问题不在于您 是否会受到攻击，而是您 何时 会受到攻击，因此假设存在漏洞是 LLM 安全解决方案的一大亮点。
接下来会怎样？