多額の損失を避けるために賢く選択するならLLM セキュリティソリューション

あなたの会社は LLM を使い始めているかもしれませんし、あなた自身が使っているかもしれません。他の経営幹部が、顧客や従業員のために組織独自の LLM を構築することに重点を置いている可能性があります。「初日の収益」は短期的には効率性と生産性の向上を示すかもしれないが、LLM は長期的な視点で捉える必要があります。徹底的なサイバーセキュリティ評価なしで LLM をビジネスに採り入れると、巨額の財務的損失（一般的には侵害に伴う損失）が生じる可能性があります。

さらに、LLM が有害または攻撃的なコンテンツを生成し、顧客からの信頼とブランドの完全性に影響を与えた場合、どのような風評被害が発生するか考えてみてください。このブログを投稿したのは、予測できない AI の流れをどう乗り切ればよいのかという疑問を抱いている人間があなただけではないことが理由です。

LLM は、ほとんどの組織が完全には理解していない複雑な新しいアタックサーフェスであり、何らかの大きな技術的変革が期待されます。私たちはアタックサーフェスのことを徹底的に考える必要があります。プロンプトインジェクションからデータ窃取まで、LLM は巧妙なサイバー犯罪の新しいベクトルを切り開く可能性を秘めています。

これらの新しいテクノロジーのセキュリティ中心の監査が極めて重要です。デューデリジェンスを実施することは、どのような新しいテクノロジーでも適切な経験則になりますが、特に LLM では重要です。防御側は、これらの大きな技術力の表面をなぞっているだけに過ぎず、攻撃者は型にはまった対策とは無縁であることが、不運にも攻撃者が優勢になる状況を作り出しています。攻撃者は株主の顔色を窺ったりはしません。失敗したら、すかさず次に進み、新たな方法で攻撃を試みます。しかし、何をおいても自分の組織を保護する必要があります。

サイバー世界内ではもっぱらビットとバイトの中で生きていますが、ドル記号を無視してはなりません。サイバーフレームワークは一連のツールの 1 つであり、その作業をうまくこなすためには 的確なツールを使用する必要があります。 

ほとんどのサイバーセキュリティ評価フレームワークは、AI 関連の攻撃を受けたときの 財務損失 を評価する作りになっていません。これらの技術的フレームワークは、あくまでもフレームワークに過ぎません。包括的なものではありません。侵害時のコストを見積もることが できたとしても 些細なものにしか見えない脆弱性が、どのようにして何百万ドルもの危機に膨れ上がるのか示すことはできないでしょう。これらのリスクは、より多くの LLM が私たちの日常生活に組み込まれるにつれて増加し続けます。

攻撃者が甚大な損害を与えるために要する時間は、LLM によって大幅に短縮されます。たとえば、攻撃者が LLM を操作して、専有データを外部に晒したり、有害なコマンドを実行させたりするとします。わずか数分で、組織はかつてない規模の財務的、風評的なダメージを受ける可能性があります。

LLM に関連するインシデントが公けになった場合、それは法的な罰金や規制上の措置だけでは済みません。直接的な侵害や技術的な障害がないとしても、顧客からの信用を失うことになります。

従来のサイバー脅威とは異なり、チャットベースのインターフェースという形態の LLM そのものが深刻なリスクとなります。出力が一見したところ無害な人の言葉のように見えて、実は危険なほど有害になる可能性があるからです。私たちは、言葉がいかに人を傷つけてしまうかを認識していますが、これらの言葉はテクノロジーも傷つける恐れがあるのです。

LLM は、セキュリティチームが対応できる従来のサイバーリスクよりも、はるかに狡猾で予測不可能な脅威をもたらします。従来の脅威の場合は、アタックサーフェスは通常、高度に技術的であり、攻撃対象のテクノロジーや特定のアプリケーションフローの範囲に収まります。

しかし、LLM の場合、「プロトコル」は自然言語であるため、アタックサーフェスが途方もなく大きくなり、従来の技術的な脆弱性の範疇を超えて、人間のような操作に踏み込む操作手法を可能にします。ソーシャルエンジニアリングは、長年にわたって人間に対する攻撃手段として好まれてきましたが、今では、それと同じ概念が私たちのテクノロジーに対しても使用されるようになりました。

複数のデータセットにわたるプロンプトインジェクションの脆弱性を調査したところ、風評被害につながるケースが非常に多くあることがわかっています。これらには、有害、攻撃的、あるいは偏見的な出力、または操作された出力や、LLM 開発者の真の意図から逸脱した LLM からの意図しない応答が含まれます。私たちは皆、人間に悪影響を及ぼす可能性のある有害なふるまいを目の当たりにしており、テクノロジーが人間の脳に近づけば近づくほど、私たちはこれらの「よりソフトな」技術的脅威に晒されることを認識しなければなりません。

LLM は、テクノロジースタックの単なるツールではなく、独自のリスクを負った、新しく幅広いアタックサーフェスです。セキュリティの脆弱性と財務上のリスクの両方について、これらのシステムを慎重に評価しなければ、潜在的な災害を被る可能性があります。展開する LLM セキュリティソリューションには、次の 4 つの重要な側面があることを知っておいてください。

1. プロンプトに対するセキュリティ制御（プロンプトインジェクションに対する防御）
2. サンドボックス化とセグメンテーション
3. ふるまい分析との連携
4. 厳格な監査証跡

LLM セキュリティソリューションには、LLM の操作を防止する防御的なプロンプトエンジニアリング技術とともに、所有データを検知し、抽出しようとする試みをブロックするための、入力と出力の両方に対する包括的なプロンプト・コンテンツ・フィルタリングを含める必要があります。これには、有害なコマンド実行から防御するためのプロンプトのコンテキスト制限と、検証チェックを含める必要があります。

LLM のインタラクションがサンドボックス化され、LLM 環境が重要な運用システムからセグメント化され、不正なコマンドの実行を防止できるようにする必要があります。マイクロセグメンテーションは、 ゼロトラスト フレームワークの必要不可欠な要素であり、ゼロトラストにまだ移行していないのであれば、ゼロトラストにすぐにでも移行すべきです。ラテラルムーブメント（横方向の移動）が発生している場所をすばやく特定し、それを停止できるかどうかで、アラートで済むか、インシデントになるかの違いになり得ます。

LLM セキュリティ製品は、ふるまい分析を使用して、一般的な LLM のインタラクションのベースラインを確立する必要があります。潜在的な不正行為または許可されていないアクティビティを特定できるように、通常と異なるふるまいにフラグを立て、検証する必要があります。

LLM のセキュリティを確保するためには、非常に高速な処理能力を持つ人間だと考える必要があります。ソーシャルエンジニアや「人間のハッカー」に、このような超高速「技術人間」を守る戦略を立てるようにしてください。

入力、出力、およびトランザクションを追跡するために、LLM のインタラクションの包括的な監査ログを維持することは、LLM セキュリティを成功させるうえで必要不可欠です。これは、不正行為を迅速に評価して対処するための事後調査にも役立ちます。ご存じのとおり、 もし攻撃を受けたらではなく、 いつ 攻撃を受けるかが問題なのですから、侵害を想定することは、LLM セキュリティソリューションの防御を一層高めることになります。