Questo modello IA gira su Windows 98 e Pentium II

In un mondo dove l'intelligenza artificiale è sempre più dominata da una manciata di colossi tecnologici, una piccola e misteriosa organizzazione denominata EXO Labs sta emergendo con una missione audace: democratizzare l'accesso all'IA. Fondata da un team di ricercatori e ingegneri dell'Università di Oxford, EXO Labs ha recentemente fatto notizia per un'impresa a dir poco straordinaria: far funzionare un potente modello linguistico di grandi dimensioni (LLM) su un PC con Windows 98, risalente a ben 26 anni fa.

L'impresa, documentata in un video su X (ex Twitter) e in un dettagliato post sul blog di EXO Labs, ha catturato l'attenzione del mondo tech e non solo. Nel video, si vede un antico PC Elonex, equipaggiato con un processore Pentium II a 350 MHz, avviarsi con il vetusto sistema operativo Windows 98. Successivamente, EXO Labs lancia il proprio motore di inferenza personalizzato, basato su Llama2.c di Andrej Karpathy, e chiede al modello linguistico di generare una storia su "Sleepy Joe" (un nomignolo spesso usato per riferirsi al presidente americano Joe Biden). Sorprendentemente, il sistema funziona, generando il testo a una velocità più che rispettabile.

Questo risultato, seppur apparentemente bizzarro, è molto più di una semplice curiosità tecnologica. Rappresenta un gesto simbolico di grande importanza per EXO Labs, che si pone l'obiettivo di contrastare il crescente controllo delle grandi aziende tecnologiche sull'intelligenza artificiale. L'organizzazione, uscita allo scoperto lo scorso settembre, ritiene che la concentrazione del potere dell'IA nelle mani di pochi rappresenti una minaccia per la cultura, la verità e gli aspetti fondamentali della nostra società.

"Costruire un'infrastruttura aperta per addestrare modelli di frontiera e consentire a qualsiasi persona di eseguirli ovunque": questo è il motto di EXO Labs. L'obiettivo è rendere possibile l'addestramento e l'esecuzione di modelli di intelligenza artificiale su qualsiasi dispositivo, anche su hardware datato e con risorse limitate. La dimostrazione su Windows 98 è un esempio emblematico di ciò che è possibile fare, anche con (gravemente) limitate risorse.

Il blog post di EXO Labs, parte della serie "12 giorni di EXO", offre uno sguardo approfondito dietro le quinte di questa impresa. Come si può immaginare, far girare un modello linguistico moderno su un PC del 1998 non è stato semplice. Il team ha dovuto affrontare diverse sfide, a partire dal trasferimento dei dati sull'antico PC Elonex, risolto ricorrendo al "buon vecchio FTP" tramite la porta Ethernet della macchina.

Ancora più impegnativa è stata la compilazione del codice moderno per Windows 98. Fortunatamente, il team ha potuto contare su Llama2.c di Andrej Karpathy, un'implementazione di circa 700 righe di puro C in grado di eseguire l'inferenza su modelli con architettura Llama 2. Grazie a questo, ad un antico IDE e compilatore Borland C++ 5.02 e ad alcune modifiche minori, il codice è stato trasformato in un eseguibile compatibile con Windows 98 e fatto funzionare. Il codice finito è disponibile su GitHub.

Alex Cheema, uno dei membri di EXO Labs, ha voluto ringraziare pubblicamente Andrej Karpathy per il suo codice, sottolineandone le prestazioni: "35,9 tok/sec su Windows 98" utilizzando un modello linguistico da 260K con architettura Llama. È importante ricordare che Karpathy, in precedenza direttore dell'IA presso Tesla e membro fondatore di OpenAI, è una figura di spicco nel campo dell'intelligenza artificiale.

Naturalmente, un modello linguistico da 260K è relativamente piccolo. Tuttavia, su un PC con un singolo core a 350MHz, ha funzionato a una velocità accettabile. Secondo il blog di EXO, passando a un modello da 15M la velocità di generazione è scesa a poco più di 1 tok/sec. Con Llama 3.2 1B, la velocità è crollata a 0,0093 tok/sec, rendendolo di fatto inutilizzabile per applicazioni in tempo reale.

Nonostante questi limiti, la dimostrazione di EXO Labs è un passo avanti significativo verso la democratizzazione dell'IA. La capacità di far girare modelli linguistici, seppur di dimensioni ridotte, su hardware obsoleto apre le porte a una serie di applicazioni innovative in contesti con risorse limitate. Si pensi, ad esempio, a dispositivi IoT, sistemi embedded o applicazioni in paesi in via di sviluppo.

EXO Labs ha dimostrato che l'intelligenza artificiale non deve essere necessariamente appannaggio dei giganti della tecnologia. Con un po' di ingegno e la giusta infrastruttura, anche un vecchio PC con Windows 98 può diventare un potente strumento di elaborazione del linguaggio naturale. Un segnale forte e chiaro in un'epoca in cui il futuro dell'IA è sempre più al centro del dibattito globale. E, a quanto pare, questo è solo l'inizio: i "12 giorni di EXO" promettono altre sorprese.