Lakera (recentemente acquisita da La Check Point) ha pubblicato l’AI Model Risk Index, un’analisi impietosa che mette a nudo quanto siano realmente "robusti" gli LLM che stiamo integrando nelle nostre aziende. E i risultati per Google sono tutt'altro che rassicuranti.
La classifica vede in testa Anthropic con Claude 4 Sonnet (23,86) e Claude 3.7 Sonnet (31,54), modelli che dimostrano una capacità superiore di mantenere l’allineamento anche sotto stress. Al polo opposto troviamo i sistemi di Mountain View: se Gemini 1.5 Pro si ferma al sesto posto con un punteggio di 72,64, la vera doccia fredda arriva con Gemini 2.0 Flash, che tocca un allarmante 90,84. Un punteggio così elevato indica una vulnerabilità sistemica a jailbreak e manipolazioni.
Gemini 3 Pro era ancora in anteprima quando venivano svolte le analisi, ma i ricercatori hanno comunque voluto specificare che la nuova versione è migliore dal punto di vista della sicurezza, solo se gli vengono date istruzioni specifiche a riguardo.
I nuovi vettori: RAG e iniezioni indirette
Il report suggerisce anche un’altra lettura: l'integrazione di dati tramite sistemi di Retrieval-Augmented Generation (RAG) ha aperto il fianco a iniezioni di prompt indirette. Un attaccante non ha più bisogno di digitare comandi malevoli; gli basta nasconderli in un documento o in una pagina web che il modello andrà a leggere.
La fragilità di Gemini in questo contesto trasforma lo strumento di produttività in un potenziale cavallo di Troia per l'esfiltrazione di dati sensibili. Un problema da tenere in considerazione per chi sta pensando di usare il prodotto Google in azienda.
Per i manager e i professionisti IT, questi dati non sono solo numeri, ma KPI critici per la governance. Implementare un'IA che fallisce nove volte su dieci nei test di resilienza avversaria significa esporre l’ambiente aziendale a rischi reputazionali e operativi incalcolabili.
Va sottolineato che sono stati testati gli LLM commerciali, quelli che possiamo usare tutti. Eventuali versioni customizzate, con un system prompt specifico, potrebbero risolvere gran parte di questi problemi. E va similmente sottolineato che nella maggior parte degli ambienti aziendali e professionali si usano LLM personalizzati; difficilmente si fa ricorso ai prodotti commerciali, proprio per ridurre al minimo i rischi.
La domanda che dobbiamo porci non è se l'IA sia utile, ma se sia abbastanza matura da essere lasciata sola con i nostri dati più preziosi. Qual è la lezione più profonda dietro questo test? Forse che, nel tentativo di inseguire la prestazione pura, abbiamo lasciato la porta di servizio spalancata.
