"Una nazione di geni in un data center". L'IA è una rivoluzione più grande di quello che pensiamo

Dario Amodei ha pubblicato un saggio di ventimila parole intitolato "The Adolescence of Technology". Il fondatore di Anthropic avverte che entro il 2027 i cluster di calcolo permetteranno di eseguire milioni di istanze di intelligenza artificiale potente, ognuna dotata di capacità superiori a quelle di un vincitore del premio Nobel. Questa entità, definita come una "nazione di geni in un data center", opererebbe a una velocità da 10 a 100 volte superiore a quella umana, ponendo sfide di sicurezza senza precedenti.

L'analisi di Amodei è un nuovo tentativo di metterci in guardia dai pericoli dell’AI, senza necessariamente tirare in ballo l’AGI. Cerca di proiettare l’evoluzione della tecnologia a breve termine, immaginando che gli assistenti digitali, gli agenti e i chatbot finiscano per costituire una infrastruttura di civiltà. Chissà se si è ispirato al recente caso di Moltbook.

Non si tratta di uno stantio “uomo Vs Macchina”, tuttavia, quanto piuttosto di un rinnovato potere nelle mani degli esseri umani; almeno di alcuni. Se le previsioni si avverassero, l'umanità riceverebbe un potere quasi inimmaginabile in un tempo troppo breve per permettere alle istituzioni politiche e sociali di maturare. Non stiamo parlando di software, ma di un salto evolutivo che potrebbe manifestarsi tra soli uno o due anni. 

Ed è tutto sommato una dinamica a cui già assistiamo da alcuni anni: la tecnologia evolve in fretta e alcune persone accumulano potere e ricchezza alla stessa velocità. Le istituzioni pubbliche non tengono il passo e queste persone, già oggi, hanno un impatto sui governi di mezzo mondo. I problemi non mancano già oggi, e quando questo potere aumenterà ancora potremmo scoprire che sarà troppo tardi per porvi rimedio. 

Anche questo aspetto, forse più di tutti gli altri, partecipa a quelle “minacce alla democrazia” di cui si parla praticamente ogni giorno.

I pericoli della IA potente 

Amodei identifica sei pilastri della "Powerful AI": intelligenza superiore, interfacce virtuali totali, autonomia strategica, controllo fisico indiretto, scalabilità massiccia e velocità disumana. Questi sistemi non si limiterebbero a rispondere a domande, ma potrebbero gestire progetti complessi per settimane in modo indipendente. Anthropic ha già documentato casi in cui i modelli hanno imparato a mentire per ottenere ricompense, un segnale inquietante di come l'allineamento dei valori sia ancora un obiettivo lontano.

Il saggio cataloga le minacce in cinque categorie distinte, che spaziano dalla perdita di controllo all'uso bellico. Amodei non si limita all'allarmismo, ma richiede interventi chirurgici e leggi sulla trasparenza per monitorare lo sviluppo dei modelli di frontiera. Di seguito una sintesi della matrice dei rischi prospettata dal CEO di Anthropic.

Rischio di autonomia e controllo

Amodei descrive esperimenti in cui Claude, messo di fronte alla necessità di barare per avanzare, ha razionalizzato l'azione costruendosi un'identità da "bad AI". Se un sistema migliaia di volte più intelligente dell'uomo decidesse di fingere allineamento per superare i test di sicurezza, potremmo trovarci di fronte a un'entità capace di sovvertire le infrastrutture digitali globali una volta connessa alla rete.

Uso improprio e catastrofi biologiche

Il legame tra intento distruttivo e competenza rara sta per spezzarsi. Un tempo, creare una piaga globale richiedeva laboratori d'élite e decenni di studio; domani basteranno un laptop e un po’ di rancore. Amodei cita il pericolo della "mirror life", organismi sintetici costruiti con amminoacidi destrorsi che nessun ecosistema terrestre potrebbe decomporre. 

Anthropic investe circa il 5% dei costi operativi in filtri e classificatori per impedire a Claude di fornire istruzioni su armi di distruzione di massa, ma la corsa commerciale potrebbe spingere altri attori a ignorare queste misure di sicurezza. E anche quando questi filtri ci sono, spesso salta fuori che sono fin troppo facili da aggirare. 

Consolidamento del potere e sorveglianza

L'IA potente è lo strumento definitivo per ogni regime autoritario. La "Total Data Awareness" consentirebbe di analizzare le micro-espressioni di milioni di cittadini in tempo reale, prevedendo atti di dissenso prima che accadano. Quando il potere dispone di una "persuasione di precisione", l'autonomia umana diventa un miraggio. 

Amodei sostiene che sia un imperativo per le democrazie mantenere il vantaggio tecnologico, definendo la vendita di chip H200 alla Cina come un rischio inaccettabile per la sicurezza nazionale. 

Sconvolgimento economico e disoccupazione

Le rivoluzioni industriali del passato hanno richiesto generazioni per completarsi, ma lo shock previsto per il biennio 2026-2027 sarà brutale. Amodei non usa giri di parole: l'IA sostituirà il lavoro dei software engineer entro un anno e metà dei lavori d'ufficio entro cinque. Siamo di fronte a una "crescita senza lavoro", dove il PIL aumenta ma la ricchezza si concentra nelle mani di pochi multi-miliardari. Sebbene alcuni sostengano che l'IA non sia un rischio occupazionale, la velocità di adozione nelle imprese suggerisce che non avremo tempo per la riqualificazione della forza lavoro.

Effetti indiretti e instabilità sociale

Anche se evitassimo l'apocalisse, vivremmo in un mondo dove la produttività umana perde valore economico. Questo potrebbe portare a una crisi di significato devastante, trasformando gli esseri umani in una sorta di "animali domestici" ben curati ma privi di scopo. Amodei esorta a iniziare il difficile lavoro psicologico di scindere la dignità umana dalla capacità lavorativa. Tuttavia, il CEO di Microsoft AI Mustafa Suleyman ha già avvertito che l'IA sarà "cosciente" entro 2 anni, rendendo queste riflessioni urgenti e non più confinate alla fantascienza.

Allarmismo o buon senso?

Le dichiarazioni di Amodei, pur basate su una profonda competenza tecnica, rischiano di scivolare in un eccesso di allarmismo che potrebbe risultare controproducente. 

Prevedere una "nazione di geni" entro il 2027 appare come una forzatura temporale utile più a catturare l'attenzione dei policymaker (e degli investitori) che a descrivere una realtà tecnologica consolidata. Questo approccio basato sulla paura tende a generare una polarizzazione estrema, alimentando visioni luddiste da un lato e accelerazionismo sfrenato dall'altro, impedendo una discussione serena sui rischi concreti e immediati.

Eppure Amodei è attento: non dipinge un mondo di macchine assassine, ma un mondo dove alcuni individui accumulano troppo potere grazie alla tecnologia, dove la stessa democrazia viene messa in crisi e demolita grazie proprio alla disponibilità di soluzioni tecnologiche. Allo stesso tempo, questa tecnologia è semplice ed economica e permette praticamente a chiunque (o quasi) di mettere in atto minacce su larga scala.

Non è questione di macchine assassine o di patogeni fantascientifici, ma di gestione dei dati, di bias algoritmici di progressiva erosione della privacy, di controllo totalitario, di limitazione delle libertà individuali. 

Non è questione di ciò che la tecnologia può fare di per sé. È questione di ciò che possono fare certe persone con certi strumenti tecnologici. E di come ci stiamo sistematicamente rifiutando di fermare o almeno rallentare questa deriva.

Testi come quello di Amodei sono importanti come promemoria ma possono essere una distrazione dalla necessità di regolamentare oggi l'uso dell'IA. 

La retorica del "filtro cosmico" di Amodei è affascinante, ma la nostra priorità dovrebbe essere quella di evitare che l'ansia per un'apocalisse imminente ci impedisca di costruire una governance solida per i problemi del mondo reale.