Un recente articolo pre-print di Google, pubblicato su ArXiv, ha sollevato numerosi dubbi sulle aspettative riguardo all'intelligenza artificiale, in particolare sui transformers, ovvero la base dei grandi modelli linguistici (LLM) quali ChatGPT.
I ricercatori di Google, evidenziano la mancanza di capacità di generalizzazione di questi modelli quando esposti a compiti al di fuori dei loro dati di addestramento.
Sebbene i transformers eccellano nei compiti correlati ai dati con cui sono stati addestrati, presentano limiti significativi nell'affrontare compiti più ampi.
È un problema per chi spera di raggiungere l'intelligenza artificiale generale (AGI), termine usato dai tecnici per descrivere un'AI ipotetica in grado di fare tutto ciò che fanno gli esseri umani. Al momento, l'AI è brava in compiti specifici ma meno capace nel trasferire abilità tra ambiti come fanno gli esseri umani.
Pedro Domingos, professore emerito all'Università di Washington, avverte che l'AGI potrebbe non essere così vicina come si crede, considerando che l'AI attuale mostra abilità limitate nella generalizzazione.
L'articolo mette in discussione le aspettative sulla potenziale via verso l'AGI attraverso i transformers. Questa constatazione ha portato ad una presa di coscienza dei limiti di queste tecnologie, che, sebbene avanzate, non sono così potenti come potrebbero sembrare.
La ricerca suggerisce che forme più avanzate di AI potrebbero superare queste limitazioni. Tuttavia, l'uso di modelli più avanzati come GPT-4 potrebbe offrire risultati migliori rispetto ai modelli precedenti quali GPT-2.
Sharon Zhou, CEO di Lamini AI, sostiene inoltre che, nonostante le difficoltà dei transformers nella generalizzazione, possono ancora essere utili se opportunamente indirizzati e allineati.
La sua azienda punta a formare modelli anziché solo interrogarli, consentendo loro di apprendere nuove informazioni, suggerendo che, se adeguatamente gestiti, i transformers possono essere ancora uno strumento prezioso nell'ambito dell'IA.