La startup cinese DeepSeek ha addestrato un modello di linguaggio AI con 671 miliardi di parametri in soli due mesi, utilizzando un cluster di 2.048 GPU Nvidia H800. L'azienda ha ottenuto un'efficienza 10 volte superiore rispetto ai leader del settore come Meta.
Il risultato è stato raggiunto grazie a numerose ottimizzazioni e all'uso di PTX (Parallel Thread Execution), un linguaggio di programmazione di basso livello di NVIDIA, al posto del più comune CUDA. PTX consente regolazioni più dettagliate a livello di thread e warp, permettendo di sfruttare al massimo l'hardware GPU.
DeepSeek ha implementato anche algoritmi avanzati di pipeline e ha riconfigurato le GPU H800, dedicando 20 dei 132 multiprocessori alle comunicazioni tra server. Queste modifiche richiedono competenze ingegneristiche di alto livello ma sono difficili da mantenere nel tempo.
Alcuni investitori temono che il breakthrough possa ridurre la domanda di hardware ad alte prestazioni per i modelli AI, penalizzando aziende come Nvidia. Tuttavia, esperti del settore come Pat Gelsinger, ex CEO di Intel, ritengono che le applicazioni AI possano sfruttare tutta la potenza di calcolo disponibile.
L'approccio di DeepSeek potrebbe consentire di implementare funzionalità di AI avanzate su dispositivi di massa a basso costo. Questo aprirebbe nuove possibilità per la diffusione dell'intelligenza artificiale in vari ambiti applicativi.
Resta da vedere se altre aziende riusciranno a replicare i risultati di DeepSeek e quali saranno gli sviluppi futuri in termini di efficienza nell'addestramento dei modelli AI. La corsa all'ottimizzazione potrebbe portare a ulteriori progressi nel campo dell'intelligenza artificiale nei prossimi anni.
