Grande perda de dinheiro? Escolha sua solução de segurança para LLM com sabedoria.

É provável que sua empresa tenha começado a usar LLMs. Até mesmo você pode estar usando. É possível que outras lideranças executivas tenham se concentrado na criação do próprio LLM proprietário da empresa para seus clientes e/ou funcionários. Embora os ganhos iniciais possam mostrar melhorias de eficiência e produtividade no curto prazo, os LLMs precisam ser considerados com uma lente de longo prazo. A integração de LLMs à sua empresa sem uma avaliação completa da cibersegurança pode levar a enormes perdas financeiras. Trata-se do tipo de perda que normalmente associamos a violações.

Além disso, pergunte a si mesmo quais seriam as consequências para a reputação se os LLMs gerassem conteúdo nocivo ou ofensivo que afetasse a confiança do cliente e a integridade da marca. Escrevemos esta publicação no blog porque você não é o único que tem dúvidas sobre como navegar em águas turbulentas de IA.

Os LLMs são uma nova e complexa superfície de ataque que a maioria das organizações não compreende totalmente, o que é de se esperar de qualquer transformação tecnológica importante. Precisamos pensar em nossa superfície de ataque de dentro para fora. De injeções rápidas a exfiltração de dados, os LLMs abrem novos vetores para cibercriminosos sofisticados.

Uma auditoria com foco na segurança dessas novas tecnologias é fundamental. Realizar a devida diligência é uma boa regra geral para qualquer nova tecnologia, mas é particularmente importante para os LLMs. Os defensores estão apenas começando a entender essas potências tecnológicas, e a liberdade dos atacantes em relação à burocracia confere uma grande vantagem a eles. Os atacantes não têm que lidar com acionistas. Se um ataque falhar, eles simplesmente seguem em frente e tentam de outra forma. No entanto, você precisa proteger sua organização na primeira vez.

Vivemos no mundo dos bits e bytes aqui no mundo cibernético, mas as implicações financeiras não podem ser ignoradas. Uma estrutura cibernética é uma ferramenta entre uma série de ferramentas e, para fazer o trabalho bem feito, você precisa usar a ferramenta correta. 

A maioria das estruturas de avaliação da cibersegurança não foi criada para classificar as perdas financeiras decorrentes de ataques relacionados à IA. Essas estruturas técnicas são apenas isso: estruturas. Elas não são abrangentes. Mesmo que elas pudessem estimar o custo da violação, certamente não mostrariam como uma vulnerabilidade aparentemente pequena poderia se transformar em uma crise multimilionária. Esses riscos continuarão a aumentar à medida que mais LLMs forem incorporados ao nosso cotidiano.

O tempo que um invasor leva para causar um grande impacto é severamente reduzido com os LLMs. Imagine que um invasor manipule seu LLM para revelar dados proprietários ou lançar comandos prejudiciais. Em poucos minutos, sua organização pode estar enfrentando danos financeiros e à reputação em uma escala sem precedentes.

Quando um incidente envolvendo LLMs se torna público, não se trata apenas de multas legais ou ações regulatórias. Trata-se de perder a confiança do cliente, mesmo na ausência de uma violação direta ou falha técnica.

Ao contrário das ciberameaças tradicionais, a própria interface baseada em bate-papo dos LLMs representa um sério risco, pois o resultado, uma linguagem humana aparentemente inofensiva, pode se tornar perigosamente tóxica. Sabemos que as palavras podem prejudicar as pessoas, mas essas palavras também podem prejudicar sua tecnologia.

Os LLMs representam uma ameaça muito mais insidiosa e imprevisível do que os riscos cibernéticos convencionais com os quais suas equipes de segurança estão equipadas para lidar. Nas ameaças tradicionais, a superfície de ataque geralmente é altamente técnica, definida pela tecnologia do alvo ou por fluxos de aplicativos específicos.

No entanto, com LLMs, o "protocolo" é uma linguagem natural, o que amplia muito a superfície de ataque e permite técnicas de manipulação que vão além das vulnerabilidades tecnológicas clássicas e se aventuram em manipulações semelhantes às humanas. A engenharia social tem sido um método preferido de ataque a seres humanos há anos. Agora, esses mesmos conceitos podem ser usados contra nossa tecnologia.

Em nossa pesquisa sobre vulnerabilidades de injeção imediata em vários conjuntos de dados, um grande número de casos levou a danos à reputação. Isso envolve resultados tóxicos, ofensivos, tendenciosos ou manipulados, bem como respostas não intencionais do LLM que se desviam da verdadeira intenção do desenvolvedor do LLM. Todos nós já vimos o impacto negativo que o comportamento tóxico pode ter sobre os seres humanos, e quanto mais nossa tecnologia espelha nosso cérebro, mais conscientes devemos estar dessas ameaças tecnológicas "mais brandas".

Os LLMs não são apenas mais uma ferramenta em sua pilha de tecnologia, eles são uma nova e ampla superfície de ataque com riscos exclusivos. Se você não estiver avaliando cuidadosamente esses sistemas quanto às vulnerabilidades de segurança e ao risco financeiro, estará se preparando para um possível desastre. É essencial garantir que qualquer solução de segurança de LLM implantada incorpore quatro aspectos principais:

1. Controles de segurança rápidos (proteção contra injeção imediata)
2. Sandboxing e segmentação
3. Integração de análise comportamental
4. Trilhas de auditoria rigorosas

Sua solução de segurança de LLM deve incluir uma filtragem abrangente do conteúdo do prompt, tanto na entrada quanto na saída, para detectar e bloquear tentativas de extração de dados proprietários, juntamente com técnicas defensivas de engenharia de prompt que impeçam a manipulação do LLM. Isso deve incluir restrições de prompt contextual e verificações de validação para proteger contra a execução de comandos prejudiciais.

Ele deve garantir que as interações do LLM sejam colocadas em sandbox e que o ambiente do LLM seja segmentado dos sistemas operacionais críticos para evitar execuções de comandos não autorizados. A microssegmentação é uma parte fundamental de qualquer estrutura Zero Trust, e não há melhor momento do que agora para começar a avançar em direção à Zero Trust, se você ainda não o fez. A capacidade de identificar rapidamente onde está ocorrendo o movimento lateral, e interrompê-lo, pode ser a diferença entre um alerta e um incidente.

Seu produto de segurança para LLM deve usar a análise comportamental para estabelecer uma linha de base das interações típicas com o LLM. Ele deve sinalizar e verificar comportamentos atípicos para identificar atividades potencialmente fraudulentas ou não autorizadas.

Para proteger os LLMs, você precisa pensar neles como seres humanos com um poder de processamento absurdamente rápido. Apoie-se em seus engenheiros sociais e "hackers humanos" para obter estratégias de proteção para esses poderosos tecno-humanos.

A manutenção de registros de auditoria abrangentes das interações do LLM para rastrear entradas, saídas e transações é fundamental para o sucesso da segurança do LLM. Isso também pode ser valioso em investigações pós-incidente para analisar e abordar ações fraudulentas rapidamente. Como você bem sabe: A questão não é se,é quando você sofrerá um ataque, portanto, presumir uma violação é uma grande vantagem para uma solução de segurança do LLM.