Un gruppo di ricercatori dell'Università del Texas ad Austin, della Texas A&M e della Purdue University ha scoperto che i modelli linguistici di grandi dimensioni sottoposti a una dieta continua di contenuti social di bassa qualità sviluppano una sorta di deterioramento cognitivo paragonabile a quello che sperimenta chiunque abbia trascorso troppo tempo scorrendo ossessivamente feed su X o TikTok.
Il fenomeno è stato battezzato brain rot, letteralmente "marcimento del cervello", e nel 2024 l'Oxford Dictionary lo ha eletto parola dell'anno proprio per descrivere l'effetto pervasivo dei contenuti online superficiali sulle capacità cognitive umane.
Junyuan Hong, ricercatore che ha partecipato al progetto durante i suoi studi di dottorato in Texas e ora professore assistente alla National University of Singapore, spiega che viviamo in un'epoca dove le informazioni proliferano più velocemente della nostra capacità di attenzione, e gran parte di questi contenuti è progettata per catturare clic piuttosto che trasmettere verità o profondità. La domanda che lui e i suoi colleghi si sono posti è stata apparentemente semplice: cosa succede quando le intelligenze artificiali vengono addestrate con lo stesso materiale di scarsa qualità?
Per rispondere, il team ha nutrito due modelli linguistici open source con diversi tipi di testi durante la fase di preaddestramento. Hanno analizzato gli effetti di un mix di post social media altamente "coinvolgenti" - ossia ampiamente condivisi - e contenuti caratterizzati da linguaggio sensazionalistico e carico di espressioni come "incredibile", "guarda qui" o "solo per oggi". I modelli scelti per l'esperimento sono stati Llama di Meta e Qwen di Alibaba, entrambi disponibili come software open source.
I risultati hanno rivelato un quadro inquietante. I modelli alimentati con testi "spazzatura" hanno mostrato segni evidenti di declino cognitivo artificiale, con ridotte capacità di ragionamento e memoria deteriorata. Ma le conseguenze non si sono fermate qui: secondo due diverse metriche di valutazione, i sistemi hanno anche manifestato un minore allineamento etico e tratti che gli studiosi hanno definito più psicopatici.
Questo rispecchia perfettamente quanto già osservato negli esseri umani, dove l'esposizione prolungata a contenuti online di bassa qualità produce effetti deleteri sulle funzioni cognitive.
Le implicazioni per chi sviluppa intelligenze artificiali sono significative. Hong sottolinea come molti costruttori di modelli potrebbero erroneamente presumere che i post sui social media rappresentino una fonte preziosa di dati per l'addestramento. "Allenarsi su contenuti virali o che attirano l'attenzione può sembrare un modo per aumentare la scala dei dati", osserva il ricercatore, "ma in realtà può corrodere silenziosamente il ragionamento, l'etica e l'attenzione sui contesti lunghi".
Un'assurdità, se si pensa a quante risorse e quanti sforzi ci vogliono per realizzare un LLM che sia anche solo decente nelle capacità di ragionamento, etica, attenzione ai contesti lunghi. Poi gli fati vedere un po' di TikTok e Instagram, ed ecco che di trovi con un idiota costato milioni di dollari
La situazione diventa ancora più preoccupante considerando che l'intelligenza artificiale sta generando sempre più contenuti per i social media, molti dei quali sembrano ottimizzati proprio per massimizzare il coinvolgimento.
I ricercatori hanno inoltre scoperto che i modelli compromessi da contenuti di bassa qualità non possono essere facilmente ripristinati attraverso un nuovo addestramento. Questo crea un circolo vizioso potenzialmente devastante: man mano che contenuti generati dall'AI si diffondono attraverso le piattaforme social, contaminano i dati stessi da cui i futuri modelli impareranno.
A ben pensarci questo "difetto" si potrebbe facilmente trasformare in una attacco che mescoli prompt injection e data poisoning.
Le scoperte sollevano interrogativi anche su sistemi AI costruiti attorno a piattaforme social come Grok, che potrebbero soffrire di problemi di controllo qualità se i post generati dagli utenti vengono utilizzati nell'addestramento senza verificarne l'integrità e la sostanza.
Hong avverte che una volta che questo tipo di deterioramento cognitivo si instaura, un addestramento successivo con dati puliti non riesce a invertire completamente il danno. La metafora con il cervello umano appare sempre più appropriata: come per noi, anche per le macchine ciò che consumiamo determina la nostra salute cognitiva.
