Vi serve il cloud computing? Iniziate subito

Volete evitare significative perdite economiche? Scegliete con cura la vostra soluzione per la sicurezza dei modelli LMM.

Akamai Wave Blue

scritto da

Maxim Zavodchik, Alex Marks-Bluth, e Neeraj Pradeep

November 27, 2024

Maxim Zavodchik

scritto da

Maxim Zavodchik

Maxim Zavodchik svolge il ruolo di Senior Manager del reparto Apps & APIs Threat Research di Akamai.

Akamai Wave Blue

scritto da

Alex Marks-Bluth

Alex Marks-Bluth is a Security Researcher at Akamai, with deep experience in using data science to solve web security problems.  He enjoys cricket and cooking, in between juggling work and family.

Neeraj Pradeep

scritto da

Neeraj Pradeep

Neeraj Pradeep is a Senior Security Researcher at Akamai with extensive experience in cybersecurity and a curious mind driven by a passion for solving complex challenges. He enjoys long drives with her family.

 

I modelli LLM sono una nuova superficie di attacco complessa di cui la maggior parte delle organizzazioni non ha una piena consapevolezza.
I modelli LLM sono una nuova superficie di attacco complessa di cui la maggior parte delle organizzazioni non ha una piena consapevolezza.

Editoriale e commenti aggiuntivi di Tricia Howard

Il ruolo dei CISO di un'organizzazione consiste nel prevedere e mitigare le minacce emergenti alla cybersecurity. I nuovissimi (e potenzialmente pericolosi) oggetti comparsi quest'anno sono i modelli LLM (Large Language Model). Questi grandi modelli linguistici, tuttavia, se non vengono adeguatamente protetti in modo specifico per il vostro ambiente, possono causare significative perdite economiche. Questi sistemi basati sull'AI promettono vantaggi da un punto di vista dell'efficienza e dell'innovazione, tuttavia, sotto la superficie dei modelli LLM, si annidano rischi per la cybersecurity in grado di spingere la vostra organizzazione verso un tracollo finanziario.

Le finanze e la reputazione della vostra azienda sono potenzialmente a rischio

La vostra azienda, probabilmente, all'inizio si è basata sui modelli LLM e, forse, anche voi li state usando. È possibile che altri dirigenti si siano focalizzati sulla creazione di modelli LLM aziendali proprietari per i vostri clienti e/o dipendenti. Anche se nell'immediato i modelli LLM potrebbero rivelarsi vantaggiosi da un punto di vista dell'efficienza e della produttività, i miglioramenti associati vanno considerati nel lungo termine. L'integrazione dei modelli LLM nelle vostre attività aziendali senza un'accurata valutazione delle implicazioni in termini di cybersecurity può condurre a significative perdite finanziarie, solitamente associate alle violazioni.

Inoltre, domandatevi quali ricadute a livello di reputazione potrebbero generarsi se i modelli LLM dovessero generare contenuti offensivi o dannosi che andrebbero ad influire sulla fiducia dei clienti e sull'integrità dei brand. Ho scritto questo blog per dare voce alle tante domande che circolano sul marasma dell'AI.

Una nuova e complessa superficie di attacco

I modelli LLM sono una nuova superficie di attacco complessa di cui la maggior parte delle organizzazioni non ha una piena consapevolezza e che si prevede subirà importanti trasformazioni tecnologiche. Dobbiamo pensare alla nostra superficie di attacco guardandola dall'interno. Dagli attacchi di tipo injection all'esfiltrazione dei dati, i modelli LLM creano nuovi vettori di attacco per i sofisticati criminali informatici.

Un controllo della sicurezza di queste nuove tecnologie è fondamentale. Effettuare i controlli di due diligence è una buona regola generale con qualsiasi nuova tecnologia, ma lo è soprattutto con i modelli LLM. Gli addetti alla sicurezza hanno solo scalfito la superficie di queste nuove potenze tecnologiche e la libertà dei criminali derivante dalla burocrazia offre loro un malaugurato vantaggio. I criminali non devono compiacere a nessuno: se un attacco fallisce, vanno avanti e provano un nuovo modo. Ecco perché la vostra organizzazione va protetta fin dall'inizio.

Quali sono i rischi finanziari derivanti dall'implementazione di un modello LLM senza un'appropriata valutazione della cybersecurity?

Viviamo nel mondo digitale, tuttavia non possiamo ignorare i profitti. Un sistema informatico è uno dei tanti strumenti a nostra disposizione, tuttavia, l'importante è utilizzare quello corretto

La maggior parte dei sistemi di valutazione della cybersecurity non è concepita per classificare le perdite finanziarie derivanti dagli attacchi correlati all'AI. Si tratta semplicemente di sistemi tecnici, che non sono onnicomprensivi. Anche se potessero stimare il costo di una violazione, certamente non riuscirebbero a mostrare come una vulnerabilità apparentemente minore potrebbe causare una crisi finanziaria di molti milioni di dollari. Questi rischi continueranno ad aumentare man mano che i modelli LLM diventeranno sempre più presenti nella nostra vita di tutti i giorni.

In quali modi i criminali possono manipolare i modelli LLM?

I modelli LLM riducono drasticamente il tempo necessario ad un criminali di creare danni enormi. Immaginate che un criminale riesca a manipolare il modello LLM in modo da rendere visibili dati proprietari o lanciare comandi dannosi. In pochi minuti, la vostra organizzazione potrebbe subire perdite finanziarie e danni alla reputazione senza precedenti.

È possibile esfiltrare i dati sensibili (informazioni sui clienti, proprietà intellettuali o segreti interni) sfruttando una vulnerabilità del modello LLM. I costi finanziari necessari per fronteggiare questi problemi sono salati: sanzioni normative, notifiche di violazioni e costosi interventi di mitigazione. Considerate che il 60% delle piccole aziende chiude sei mesi dopo aver subito una violazione di dati. Pensate anche alle sanzioni previste dal Regolamento generale sulla protezione dei dati (GDPR) , che erodono fino al 4% del fatturato a livello globale.

Un prompt dannoso potrebbe attivare azioni non autorizzate, causando interruzioni dei sistemi o, peggio, consentire ad un criminale di ottenere l'accesso a sistemi critici. Quanto potrebbe sopravvivere un'azienda dopo essere stata disconnessa? Secondo Gartner, il costo medio di un problema di downtime dei sistemi IT è pari a 5.600 dollari al minuto, ovviamente da moltiplicare per il numero di ore o, persino, di giorni in cui si è verificato il downtime.

È possibile manipolare i modelli LLM per generare contenuti fraudolenti o eseguire false transazioni. Nei settori altamente regolamentati, come il settore finanziario, una sola transazione fraudolenta potrebbe determinare sanzioni, perdite di contratti e cause legali. E il costo totale sarebbe potenzialmente pari a milioni di dollari.

I danni alla reputazione sono la minaccia più insidiosa in termini di sicurezza dei modelli LLM. Un solo passo falso, come un'uscita inappropriata o un episodio di violazione della privacy, può causare irreparabili danni alla reputazione. Il mercato odierno è più competitivo che mai e la fiducia dei clienti è molto labile. Perdere la fiducia dei clienti potrebbe portare a definitive perdite di fatturato per il passaggio alla concorrenza.

I danni alla reputazione sono una bomba ad orologeria per le finanze

Se un problema relativo ai modelli LLM diventa pubblico, non implica solo sanzioni legali o azioni normative, ma anche la perdita di fiducia da parte dei clienti, persino in assenza di una violazione diretta o di un guasto tecnico.

A differenza delle minacce informatiche, l'interfaccia basata su chat dei modelli LLM pone di per sé un rischio serio perché il suo risultato (il linguaggio umano apparentemente innocuo) può diventare pericoloso. Sappiamo che le parole possono ferire le persone, ma possono anche danneggiare la tecnologia.

Una minaccia più "morbida", ma più insidiosa e imprevedibile

I modelli LLM pongono una minaccia molto più insidiosa e imprevedibile dei tipici rischi informatici che i team addetti alla sicurezza sono abituati a gestire. Nelle minacce tradizionali, la superficie di attacco è, di solito, molto tecnica e definita dalla tecnologia di destinazione o dai flussi di applicazioni specifiche.

Tuttavia, con i modelli LLM, il "protocollo" è il linguaggio naturale, che espande notevolmente la superficie di attacco e offre tecniche di manipolazione che superano le vulnerabilità tecnologiche classiche e diventano simili a quelle umane. Il social engineering è da anni il metodo di attacco preferito dall'uomo e ora questi stessi concetti possono essere usati contro le nostre tecnologie.

Nella nostra ricerca sulle vulnerabilità di tipo injection presenti in più dataset, un gran numero di casi arreca danni alla reputazione, tra cui pericoli, offese, pregiudizi o manipolazioni, come risposte non previste dal modello LLM che deviano dal reale scopo dello sviluppatore del modello. Abbiamo tutti visto come un comportamento tossico può avere un impatto negativo sulle persone e quanto più la tecnologia riflette il nostro cervello, tanto più consapevoli dobbiamo essere circa queste minacce tecnologiche più "morbide".

Cosa potete fare per proteggervi dalle minacce dei modelli LLM?

I modelli LLM non sono solo un altro strumento del vostro stack tecnologico, ma rappresentano una nuova superficie di attacco più ampia con specifici rischi. Se non valutate attentamente questi sistemi in termini di falle nel sistema di sicurezza e rischi finanziari, potreste predisporvi ad un potenziale disastro. È essenziale garantire che, se implementata, una soluzione per la sicurezza dei modelli LLM includa quattro aspetti principali:

  1. Controlli di sicurezza dei prompt (protezione dagli attacchi di tipo injection dei prompt)
  2. Sandboxing e segmentazione
  3. Integrazione dell'analisi comportamentale
  4. Audit trail rigorosi

Controlli di sicurezza dei prompt (protezione dagli attacchi di tipo injection dei prompt)

Una soluzione per la sicurezza dei modelli LLM deve includere un filtraggio dei contenuti dei prompt completo sia in input che in output per rilevare e bloccare i tentativi di estrarre dati proprietari, insieme a tecniche di progettazione dei prompt di difesa in grado di prevenire la manipolazione dei modelli LLM, tra cui controlli di convalida e restrizioni dei prompt contestuali per proteggere dall'esecuzione di comandi dannosi.

Sandboxing e segmentazione

Le interazioni LLM devono essere sottoposte a sandboxing e l'ambiente dei modelli LLM deve essere isolato dai sistemi operativi critici per evitare esecuzioni di comandi non autorizzate. La microsegmentazione è una parte fondamentale di qualsiasi sistema Zero Trust e non c'è momento migliore di ora per iniziare a passare al modello Zero Trust, se non avete già avviato questo percorso. La capacità di identificare rapidamente le aree in cui si verifica il movimento laterale (e bloccarlo) può fare la differenza tra una situazione di allerta e un incidente.

Integrazione dell'analisi comportamentale

Il vostro prodotto per la sicurezza dei modelli LMM deve usare l'analisi comportamentale per stabilire uno standard di interazioni LMM tipiche in modo da segnalare e verificare i comportamenti insoliti allo scopo di identificare attività potenzialmente fraudolente o non autorizzate.

Per proteggere i modelli LLM, dovete immaginare come se fossero delle persone con una capacità di elaborazione estremamente veloce. Affidatevi ai vostri esperti di social engineering e agli "hacker umani" per mettere in atto strategie tali da proteggere questi tecno-umani dai superpoteri.

Audit trail rigorosi

Creare registri di audit completi sulle interazioni LLM per tenere traccia delle operazioni di input/output e delle transazioni è fondamentale per garantire la sicurezza dei modelli LLM, che è anche importante nelle indagini effettuate dopo un incidente allo scopo di valutare e mitigare rapidamente le azioni fraudolente. Come sapete bene, non dovete pensare sesarete attaccati, ma quando lo sarete perché se adottate un approccio tempestivo alle violazioni della sicurezza dei modelli LLM, partirete con il piede giusto.

Cosa ci aspetta per il futuro?

I modelli LLM rappresentano un'opportunità di apprendimento per tutti noi, ma specialmente per chi si occupa della protezione di sistemi digitali. Prendetevi tempo per effettuare ricerche e test, proprio come avete fatto con qualsiasi altra importante innovazione tecnologica.

Akamai continuerà a usare la sua ampia visibilità per scoprire, monitorare e segnalare le minacce allo scopo di proteggere i suoi clienti e i suoi dipendenti, nonché la comunità della sicurezza in generale. Per tenervi aggiornati sui nostri risultati più recenti, potete seguirci sui social media o consultare la pagina dedicata alle ricerche sulla sicurezza di Akamai.



Akamai Wave Blue

scritto da

Maxim Zavodchik, Alex Marks-Bluth, e Neeraj Pradeep

November 27, 2024

Maxim Zavodchik

scritto da

Maxim Zavodchik

Maxim Zavodchik svolge il ruolo di Senior Manager del reparto Apps & APIs Threat Research di Akamai.

Akamai Wave Blue

scritto da

Alex Marks-Bluth

Alex Marks-Bluth is a Security Researcher at Akamai, with deep experience in using data science to solve web security problems.  He enjoys cricket and cooking, in between juggling work and family.

Neeraj Pradeep

scritto da

Neeraj Pradeep

Neeraj Pradeep is a Senior Security Researcher at Akamai with extensive experience in cybersecurity and a curious mind driven by a passion for solving complex challenges. He enjoys long drives with her family.