Un programmatore ha fatto funzionare un modello di intelligenza artificiale, nello specifico Llama2, su una console Xbox 360 di quasi 20 anni fa (che potete ancora acquistare su Amazon se volete). Andrei David è riuscito a installare e far girare un modello IA basato sul codice Llama2.c di Andrej Karpathy sulla sua vecchia console Microsoft, dopodiché ha mostrato il suo risultato su X
Nonostante l'età del dispositivo, David ha utilizzato un bootloader per caricare il modello sull'Xbox 360 e far funzionare un prompt denominato: "Sleep Joe said". L'esperimento è stato ispirato dal successo di EXO Lab nel far girare Llama su un PC Windows 98, come mostrato e dichiarato dallo stesso Andrei David nel video allegato al suo post.
Per adattare il modello all'architettura PowerPC e alle peculiarità della gestione della memoria dell'Xbox 360, David ha dovuto ottimizzare il codice. La principale sfida è stata la differenza tra l'architettura big-endian del PowerPC e quella little-endian del Pentium II usato da EXO Lab.
Un'altra difficoltà è stata l'utilizzo di memoria unificata della console. Nonostante i 512MB di RAM totali, David ha dovuto assicurarsi che il modello da 60MB si adattasse allo spazio allocato per CPU o GPU, che condividono lo stesso pool di memoria.
LLM running on Xbox 360
— Andrei David (@AndreiDavid) January 10, 2025
With Xenon CPU (3.2GHz PowerPC w/ 3 cores) and 512MB unified RAM. Based on @karpathy's🩷llama2.c, ported to run on Microsoft's powerful console from 2005. Pure C implementation optimized for PowerPC architecture and Xbox memory management.
Inspired by… pic.twitter.com/e9oMLaWIyi
Il successo di questo esperimento apre nuove possibilità per l'esecuzione di modelli IA su hardware datato. Un utente ha suggerito che i 512MB di RAM unificata dell'Xbox 360 potrebbero essere sufficienti per modelli più avanzati come SmolLM di Hugging Face o Qwen2.5 a 4-bit.
David ha accolto la sfida, lasciando intendere che proverà a far girare modelli AI ancora più potenti sulla vecchia console in futuro. Questo progetto è un riflesso dell'obiettivo di EXO Lab di rendere l'intelligenza artificiale accessibile a tutti, non solo alle grandi aziende con risorse illimitate.
