금전적으로 막대한 손실을 볼 수 있습니다. 현명하게 LLM 보안 솔루션을 선택하세요.
편집 및 추가 설명: 트리샤 하워드(Tricia Howard)
기업 CISO의 임무는 새로운 사이버 보안 위협을 예측하고 방어하는 것입니다. 올해의 새로운(동시에 위험할 수 있는) 오브젝트는 대형 언어 모델(LLM)입니다. 하지만 LLM의 약자는 단순히 ‘Large Language Model’만을 의미하는 것이 아닙니다. 환경에 맞는 적절한 사이버 보안 평가가 이루어지지 않으면, LLM은 막대한 금전적 손실(large loss of money)을 의미할 수도 있습니다. 이러한 AI 기반 시스템은 효율성 향상과 혁신을 약속하지만, LLM의 표면 아래에는 기업에 재정적 재앙을 초래할 수 있는 사이버 보안 리스크가 숨어 있습니다.
재정과 평판이 리스크에 처할 가능성 존재
여러분의 기업이 LLM을 사용하기 시작했을 가능성이 높으며, 여러분도 사용하고 있을 수 있습니다. 다른 경영진이 고객 또는 직원을 위해 기업 고유의 LLM을 구축하는 데 중점을 두기 시작했을 수도 있습니다. ‘초기 효과’로 단기적인 효율성 및 생산성 향상이 나타날 수 있지만, 장기적인 관점에서 LLM을 고려해야 합니다. 철저한 사이버 보안 평가 없이 LLM을 비즈니스에 통합하면 일반적으로 유출과 연결 짓는 막대한 재정적 손실로 이어질 수 있습니다.
또한 LLM이 고객 신뢰와 브랜드 무결성에 영향을 미치는 유해하거나 불쾌한 콘텐츠를 생성할 경우 평판에 어떤 영향을 미칠지 자문해 보세요. 이 블로그 게시물을 작성한 이유는 AI의 험난한 바다를 헤쳐 나가는 데 궁금한 점이 있는 것이 여러분만이 아니기 때문입니다.
복잡하고 새로운 공격 표면
LLM은 대부분의 기업이 완전히 이해하지 못하는 복잡하고 새로운 공격 표면이며, 이는 모든 주요 기술 혁신에서 예상할 수 있는 일입니다. 우리는 공격 표면을 내부에서 외부로 생각해야 합니다. 즉각적인 인젝션부터 데이터 유출까지, LLM은 정교한 사이버 범죄자들에게 새로운 경로를 열어줍니다.
이러한 새로운 기술에 대한 보안 중심의 감사는 매우 중요합니다. 경험적으로 봤을 때 모든 신기술은 실사를 수행하는 것이 좋고, LLM의 경우 특히 실사가 중요합니다. 보안팀은 이 강력한 기술에 대해 표면적으로만 파악하고 있으며, 공격자들은 관료주의로부터 자유롭기 때문에 안타깝게도 유리한 고지를 점하고 있습니다. 공격자들은 달래야 할 주주가 없기 때문에 공격에 실패하면 새로운 방식으로 공격을 시도할 수 있습니다. 하지만 보안팀은 처음부터 기업을 보호해야 합니다.
적절한 사이버 보안 평가 없이 LLM 구축 시 발생 가능한 재정적 리스크
우리는 사이버 세계에서 비트와 바이트 단위로 살고 있지만, 달러 표시를 무시해서는 안 됩니다. 사이버 프레임워크는 일련의 툴 중 하나일 뿐이며, 이를 제대로 활용하려면 올바른 툴을 사용해야 합니다.
대부분의 사이버 보안 평가 프레임워크는 AI 관련 공격으로 인한 재정적 손실 의 순위를 매기도록 설계되지 않았습니다. 이러한 기술 프레임워크는 프레임워크일 뿐이며, 포괄적이지 않습니다. 유출로 인한 비용을 추정 할 수 있다 고 해도 사소해 보이는 취약점이 어떻게 수백만 달러 규모의 위기로 확대될 수 있는지는 보여주지 못합니다. 이러한 리스크는 LLM이 더 많이 일상생활에 통합됨에 따라 계속 증가할 것입니다.
공격자의 LLM 조작 방법
공격자가 막대한 영향력을 행사하는 데 걸리는 시간은 LLM을 통해 크게 단축됩니다. 공격자가 LLM을 조작해 독점 데이터를 노출하거나 유해한 명령을 실행한다고 상상해 보세요. 단 몇 분 만에 기업은 전례 없는 규모의 재정적 피해와 평판 손상에 직면할 수 있습니다.
고객 정보, 지식 재산 또는 내부 기밀과 같은 민감한 데이터는 LLM 취약점을 통해 유출될 수 있습니다. 이를 처리하는 데 드는 재정적 비용은 규제 벌금, 위반 통지, 고비용의 복구 노력 등을 포함해 막대합니다. 중소기업의 60% 가 데이터 유출 후 6개월 이내에 문을 닫는다는 점을 고려하세요. 전 세계 매출의 최대 4%까지 부과될 수 있는 GDPR(General Data Protection Regulation) 에 따른 과징금도 생각해 보세요.
악성 프롬프트는 승인되지 않은 작업을 트리거해 시스템 종료로 이어지거나 공격자가 중요한 시스템에 접속할 수 있는 최악의 상황을 초래할 수 있습니다. 비즈니스가 오프라인 상태에서 얼마나 오래 버틸 수 있을까요? Gartner에 따르면, IT 다운타임의 평균 비용은 분당 5600달러입니다. 여기에 몇 시간 또는 며칠의 다운타임을 곱하면 그 비용은 엄청납니다.
LLM은 사기성 콘텐츠를 생성하거나 허위 거래를 실행하기 위해 조작될 수 있습니다. 금융과 같이 규제가 엄격한 업계에서는 단 한 번의 사기 거래로 인해 벌금, 계약 손실, 소송이 발생할 수 있으며, 총비용은 수백만 달러에 달할 수도 있습니다.
평판에 대한 피해는 LLM 보안과 관련해 가장 교묘한 위협입니다. 부적절한 출력물이나 개인정보 침해와 같은 단 한 번의 실수로 인해 돌이킬 수 없는 평판 손상이 발생할 수 있습니다. 오늘날의 시장은 그 어느 때보다 경쟁이 치열하고 고객의 신뢰는 취약합니다. 이러한 신뢰를 잃으면 고객이 경쟁업체로 이탈해 영구적인 매출 손실로 이어질 수 있습니다.
평판 실추는 금전적 시한폭탄
LLM과 관련된 인시던트가 공개되면 법적 벌금이나 규제 조치에만 그치지 않습니다. 직접적인 유출이나 기술적 장애가 없더라도 고객의 신뢰를 잃을 수 있습니다.
기존의 사이버 위협과 달리 LLM의 채팅 기반 인터페이스 자체는 무해해 보이는 인간의 언어가 위험할 정도로 유해할 수 있기 때문에 심각한 리스크를 초래할 수 있습니다. 우리는 말이 사람에게 상처를 줄 수 있다는 것을 잘 알고 있지만, 말은 기술에도 상처를 줄 수 있습니다.
‘소프트하지만’ 더 교묘하고 예측하기 어려운 위협
LLM은 보안팀이 처리할 수 있는 기존의 사이버 리스크보다 훨씬 더 교묘하고 예측할 수 없는 위협을 가합니다. 기존 위협의 경우, 공격 표면은 일반적으로 표적의 기술이나 특정 애플리케이션 흐름에 의해 정의되는 고도로 기술적인 것입니다.
그러나 LLM에서는 "프로토콜"이 자연어이기 때문에 공격 표면이 크게 확장되고 기존의 기술적 취약점을 넘어 사람과 같은 조작 기법을 사용할 수 있습니다. 소셜 엔지니어링은 수년 동안 인간을 공격하는 방법으로 선호되어 왔으며, 이제 이러한 개념이 기술에도 사용될 수 있습니다.
여러 데이터 세트의 프롬프트 인젝션 취약점에 대한 리서치 결과, 평판 실추로 이어지는 경우가 많았습니다. 여기에는 유해성, 공격성, 편향성, 조작된 결과물뿐 아니라 LLM 개발자의 의도와 다른 의도치 않은 LLM의 응답이 포함됩니다. 우리는 모두 유해성 행동이 인간에게 미칠 수 있는 부정적인 영향을 경험했으며, 기술이 인간의 두뇌를 닮아갈수록 이러한 ‘소프트한’ 기술적 위협에 대해 더 많이 인식해야 합니다.
LLM 위협으로부터 보호하기 위해 할 수 있는 조치
LLM은 단순히 기술 스택의 또 다른 툴이 아니라 고유한 리스크를 지닌 넓고 새로운 공격 표면입니다. 이러한 시스템의 보안 취약점과 재정적 리스크 모두에 대해 신중하게 평가하지 않는다면 잠재적인 재난을 부르는 것과 같습니다. 배포하는 모든 LLM 보안 솔루션에 4가지 주요 측면이 통합되어 있는지 확인해야 합니다.
- 신속한 보안 제어(신속한 인젝션 보호)
- 샌드박싱 및 세그멘테이션
- 행동 분석 통합
- 엄격한 감사 추적
신속한 보안 제어(신속한 인젝션 보호)
LLM 보안 솔루션에는 입력 및 출력 모두에 대한 포괄적 프롬프트 콘텐츠 필터링을 통해 독점 데이터를 추출하려는 시도를 탐지하고 차단하는 기능과 함께 LLM 조작을 방지하는 방어적인 프롬프트 엔지니어링 기술이 포함되어야 합니다. 여기에는 유해한 명령어 실행을 방지하기 위한 맥락별 프롬프트 제한 및 유효성 검사도 포함되어야 합니다.
샌드박싱 및 세그멘테이션
허가되지 않은 명령어 실행을 방지하기 위해 LLM 상호 작용을 샌드박싱하고 LLM 환경을 중요한 운영 시스템과 분리해야 합니다. 마이크로세그멘테이션은 모든 제로 트러스트 프레임워크의 핵심 요소이며, 아직 제로 트러스트로 전환하지 않았다면 지금이 바로 시작하기에 가장 좋은 시기입니다. 측면 이동이 발생하는 위치를 신속하게 식별하고 이를 차단하는 기능으로 경보와 인시던트를 구분할 수 있습니다.
행동 분석 통합
LLM 보안 제품은 행동 애널리틱스를 사용해 일반적인 LLM 상호 작용의 기준선을 설정해야 합니다. 비정형적인 행동에 플래그를 지정하고 확인해 잠재적인 사기 또는 무단 활동을 식별해야 합니다.
LLM을 보호하려면 LLM을 엄청나게 빠른 처리 능력을 가진 사람으로 생각해야 합니다. 소셜 엔지니어와 ‘인간 해커’의 도움을 받아 초고속 처리 능력을 가진 테크노 휴먼을 보호하기 위한 전략을 수립하세요.
엄격한 감사 추적
LLM 상호 작용에 대한 포괄적 감사 로그를 유지해 입력, 출력, 트랜잭션을 추적하는 것은 성공적인 LLM 보안에 매우 중요합니다. 이는 인시던트 발생 후 조사에서 사기 행위를 신속하게 평가하고 처리하는 데에도 유용할 수 있습니다. 잘 아시다시피 보안은 공격의 가능성이 아니라 시기 가 중요하기 때문에 유출을 가정하는 것은 LLM 보안 솔루션의 강력한 기능 중 하나입니다.
다음 단계