¿Necesita Cloud Computing? Empiece ahora

¿Gran pérdida de dinero? Elija su solución de seguridad de LLM de forma inteligente.

Akamai Wave Blue

escrito por

Maxim Zavodchik, Alex Marks-Bluth, y Neeraj Pradeep

November 27, 2024

Maxim Zavodchik

escrito por

Maxim Zavodchik

Maxim Zavodchik es responsable senior de investigación de amenazas de aplicaciones & API en Akamai.

Akamai Wave Blue

escrito por

Alex Marks-Bluth

Alex Marks-Bluth is a Security Researcher at Akamai, with deep experience in using data science to solve web security problems.  He enjoys cricket and cooking, in between juggling work and family.

Neeraj Pradeep

escrito por

Neeraj Pradeep

Neeraj Pradeep is a Senior Security Researcher at Akamai with extensive experience in cybersecurity and a curious mind driven by a passion for solving complex challenges. He enjoys long drives with her family.

 

Los LLM son una superficie de ataque nueva y compleja que la mayoría de las organizaciones no entienden completamente.
Los LLM son una superficie de ataque nueva y compleja que la mayoría de las organizaciones no entienden completamente.

Comentario editorial y adicional de Tricia Howard

Como director de seguridad de la información de su organización, su trabajo consiste en prever y mitigar las amenazas de ciberseguridad emergentes. La resplandeciente (y potencialmente peligrosa) novedad de este año son los modelos de lenguaje de gran tamaño (LLM). En inglés, la sigla LLM no solo significa “modelo de lenguaje de gran tamaño”; sin una evaluación de ciberseguridad adecuada y específica para su entorno, LLM también puede significar large loss of money (gran pérdida de dinero). Estos sistemas basados en IA prometen mejoras de eficiencia e innovación, pero bajo la superficie de los LLM se encuentran los riesgos de ciberseguridad que podrían suponer un desastre financiero para su organización.

Sus finanzas y su reputación pueden estar en riesgo

Es probable que su empresa ya esté utilizando LLM; quizá incluso usted mismo los esté empleando. Es posible que otros líderes ejecutivos se hayan centrado en desarrollar su propio LLM exclusivo de la organización para sus clientes o empleados. Aunque las ganancias iniciales pueden mostrar mejoras en la eficiencia y la productividad a corto plazo, los LLM deben considerarse con una perspectiva a largo plazo. La integración de los LLM en su negocio sin una evaluación exhaustiva de la ciberseguridad puede provocar pérdidas financieras masivas; el tipo de pérdidas que solemos asociar a las infracciones.

Además, pregúntese cuáles serían las consecuencias para la reputación si los LLM generaran contenido dañino u ofensivo que afectara a la confianza del cliente y a la integridad de la marca. Escribimos esta entrada de blog porque no son pocos los que tienen preguntas sobre cómo capear el temporal de la IA.

Una nueva y compleja superficie de ataque

Los LLM son una superficie de ataque nueva y compleja que la mayoría de las organizaciones no entienden completamente, algo esperable con cualquier transformación tecnológica importante. Tenemos que pensar en nuestra superficie de ataque desde dentro hacia fuera. Desde inyecciones de instrucciones hasta exfiltración de datos, los LLM abren nuevos vectores para ciberdelincuentes sofisticados.

Una auditoría centrada en la seguridad de estas nuevas tecnologías es crucial. Observar la debida diligencia es una buena regla general con cualquier nueva tecnología, pero es especialmente importante con los LLM. Los expertos en protección no han hecho más que arañar la superficie de estas potentes herramientas tecnológicas; la libertad de los atacantes frente a la burocracia les da una desafortunada ventaja. Estos últimos no tienen que rendir cuentas ante ningún accionista: si un ataque falla, se limitan a continuar y prueban de otro modo. Sin embargo, usted necesita proteger su organización a la primera.

¿Cuál es el riesgo financiero de implementar un LLM sin una evaluación de ciberseguridad adecuada?

Aunque el mundo cibernético se compone de bits y bytes, no debemos ignorar los símbolos de dólar. Un marco cibernético es una herramienta de muchas; para hacer el trabajo bien, debe usar la herramienta correcta

La mayoría de los marcos de evaluación de ciberseguridad no están diseñados para clasificar las pérdidas financieras de los ataques relacionados con la IA. Estos marcos técnicos son justo eso: marcos. No abarcan otros aspectos. Incluso aunque pudieran servir para calcular el coste de la vulneración, sin duda no le mostrarían cómo una vulnerabilidad aparentemente menor podría convertirse en una crisis multimillonaria. Estos riesgos seguirán aumentando a medida que se incorporen más LLM a nuestra vida diaria.

¿De qué formas pueden los atacantes manipular los LLM?

El tiempo que tarda un atacante en tener un impacto masivo se reduce considerablemente con los LLM. Imagine que un atacante manipula su LLM para revelar datos privados o iniciar comandos dañinos. En unos pocos minutos, su organización podría enfrentarse a graves pérdidas económicas y daños reputacionales a una escala sin precedentes.

Los datos confidenciales (información del cliente, propiedad intelectual o secretos empresariales) podrían filtrarse a través de una vulnerabilidad de LLM. El coste financiero de hacer frente a este problema es elevado: sanciones legales, notificaciones de infracciones y costosos esfuerzos de corrección. Tenga en cuenta que el 60 % de las pequeñas empresas cierran en un plazo de seis meses tras una filtración de datos. Piense también en las sanciones del Reglamento General de Protección de Datos (RGPD) , que pueden suponer hasta el 4 % de los ingresos globales.

Un mensaje malicioso podría activar acciones no autorizadas, lo que podría provocar el cierre del sistema o peor aún: un atacante podría acceder a sistemas críticos. ¿Cuánto tiempo podría sobrevivir su empresa sin conexión? Según Gartner, el coste medio del tiempo de inactividad de TI es de 5600 USD por minuto. Multiplique esto por horas, o incluso días, de tiempo de inactividad.

Los LLM se pueden manipular para generar contenido fraudulento o ejecutar transacciones engañosas. En sectores altamente regulados, como el financiero, una sola transacción fraudulenta podría resultar en multas, pérdida de contratos y demandas. ¿El coste total? Podría ascender a varios millones.

El daño a su reputación es la amenaza más insidiosa de todas en lo que se refiere a la seguridad de LLM. Un solo error, como un resultado inapropiado o una violación de la privacidad, puede causar un daño irreparable a la reputación. El mercado actual es más competitivo que nunca y la confianza de los clientes es frágil. Perder esa confianza podría suponer una pérdida permanente de ingresos conforme los clientes optan por la competencia.

El daño reputacional es una bomba de tiempo financiera

Cuando un incidente que involucra LLM se hace público, las consecuencias no se limitan únicamente a sanciones legales o acciones regulatorias. También se pierde la confianza del cliente, incluso cuando no hay infracciones directas o fallos técnicos.

A diferencia de las ciberamenazas tradicionales, la interfaz basada en chat de los LLM supone un grave riesgo, ya que el resultado, un lenguaje humano aparentemente inocuo, puede volverse peligrosamente tóxico. Somos conscientes de cómo las palabras pueden dañar a las personas, pero también pueden dañar la tecnología.

Una amenaza “menos agresiva” pero más insidiosa e impredecible

Los LLM representan una amenaza mucho más insidiosa e impredecible que los riesgos cibernéticos convencionales que sus equipos de seguridad están preparados para gestionar. En las amenazas tradicionales, la superficie de ataque suele ser muy técnica, definida por la tecnología del objetivo o los flujos de aplicaciones específicos.

Sin embargo, en el caso de los LLM, el "protocolo" es un lenguaje natural, que amplía enormemente la superficie de ataque y posibilita técnicas de manipulación que van más allá de las vulnerabilidades tecnológicas clásicas y se aventuran en manipulaciones similares a las humanas. La ingeniería social ha sido un método preferido de ataque a los seres humanos durante años; ahora, esos mismos conceptos se pueden utilizar contra nuestra tecnología.

En nuestra investigación sobre vulnerabilidades de inyección de instrucciones en varios conjuntos de datos, un gran número de casos provocan daños reputacionales. Estos implican resultados tóxicos, ofensivos, sesgados o manipulados, además de respuestas no deseadas del LLM que se desvían de la verdadera intención de su desarrollador. Todos conocemos el impacto negativo que el comportamiento tóxico puede tener en las personas. A medida que nuestras tecnologías se asemejan cada vez más a nuestros cerebros, es fundamental ser conscientes de estas amenazas tecnológicas “menos agresivas”.

¿Qué puede hacer para protegerse contra las amenazas de LLM?

Los LLM no son solo otra herramienta de su pila tecnológica, sino que constituyen una amplia superficie de ataque nueva con riesgos únicos. Si no está evaluando cuidadosamente estos sistemas para detectar vulnerabilidades de seguridad y riesgos financieros, se encuentra a las puertas de un desastre potencial. Es esencial asegurarse de que cualquier solución de seguridad de LLM que implemente incorpore cuatro aspectos clave:

  1. Controles de seguridad de mensajes (protección frente a inyecciones de instrucciones)
  2. Aislamiento y segmentación
  3. Integración del análisis de comportamiento
  4. Rigurosos registros de auditoría

Controles de seguridad de mensajes (protección frente a inyecciones de instrucciones)

Su solución de seguridad de LLM debe incluir un filtrado exhaustivo del contenido de los mensajes, tanto en la entrada como en la salida, para detectar y bloquear los intentos de extracción de datos privados, junto con técnicas defensivas de ingeniería de instrucciones que eviten la manipulación del LLM. Además, debe incluir restricciones de mensajes contextuales y comprobaciones de validación para protegerse de la ejecución de comandos perjudiciales.

Aislamiento y segmentación

Debe asegurarse de que las interacciones de LLM se aíslan y de que el entorno de LLM se segmenta de los sistemas operativos críticos para evitar ejecuciones de comandos no autorizados. La microsegmentación es una parte esencial de cualquier marco Zero Trust ; no hay mejor momento que el presente para comenzar a adoptar un modelo Zero Trust si aún no lo ha hecho. La capacidad de identificar rápidamente dónde se produce el movimiento lateral y detenerlo puede marcar la diferencia entre una alerta y un incidente.

Integración del análisis de comportamiento

Su producto de seguridad de LLM debe utilizar análisis de comportamiento para establecer un estándar de interacciones típicas de LLM. Debe marcar y verificar el comportamiento atípico para identificar actividades potencialmente fraudulentas o no autorizadas.

Para proteger los LLM, debe pensar en ellos como seres humanos con una potencia de procesamiento extraordinariamente rápida. Recurra a sus ingenieros sociales y “hackers humanos” para obtener estrategias para proteger a estos tecnohumanos superpoderosos.

Rigurosos registros de auditoría

El mantenimiento de exhaustivos registros de auditoría de las interacciones de LLM para realizar un seguimiento de las entradas, salidas y transacciones es fundamental para garantizar la seguridad de LLM. Esto también puede ser valioso en las investigaciones posteriores al incidente para evaluar y abordar rápidamente las acciones fraudulentas. Como ya sabe: no es cuestión de sile atacarán, sino de cuándo lo harán, por lo que asumir una infracción de seguridad es un punto fuerte de una solución de seguridad de LLM.

Qué podemos esperar

Los LLM son una oportunidad de aprendizaje para todos nosotros, especialmente para aquellos que protegemos las vidas digitales. Dedique este tiempo a realizar investigaciones y pruebas, tal y como lo ha hecho con cualquier otro avance tecnológico importante.

Akamai seguirá utilizando nuestra amplia visibilidad para detectar, supervisar e informar sobre las amenazas para la seguridad de nuestros clientes, compañeros de trabajo y la comunidad de seguridad en general. Para estar al día de las novedades, síganos en redes sociales o consulte nuestra página de investigaciones sobre seguridad .



Akamai Wave Blue

escrito por

Maxim Zavodchik, Alex Marks-Bluth, y Neeraj Pradeep

November 27, 2024

Maxim Zavodchik

escrito por

Maxim Zavodchik

Maxim Zavodchik es responsable senior de investigación de amenazas de aplicaciones & API en Akamai.

Akamai Wave Blue

escrito por

Alex Marks-Bluth

Alex Marks-Bluth is a Security Researcher at Akamai, with deep experience in using data science to solve web security problems.  He enjoys cricket and cooking, in between juggling work and family.

Neeraj Pradeep

escrito por

Neeraj Pradeep

Neeraj Pradeep is a Senior Security Researcher at Akamai with extensive experience in cybersecurity and a curious mind driven by a passion for solving complex challenges. He enjoys long drives with her family.