Elon Musk ha rivelato che Grok 3, il prossimo modello LLM della startup xAI, è stato addestrato usando la bellezza di 100.000 GPU AI NVIDIA H100.
La startup di Musk sta investendo cifre enormi per acquistare risorse hardware capaci di garantire risultati significativi con i modelli di linguaggio Grok. La competizione nel campo dell'intelligenza artificiale è sempre più serrata e un numero crescente di aziende si sta affrettando a mettere sul mercato versioni avanzate dei loro modelli di linguaggio per rispondere alla crescente domanda di chatbot IA. In questo contesto, la startup di Elon Musk sembra pronta ad imporsi come una delle realtà più prominenti nel campo dell'IA.
La società ha rilasciato versioni più recenti del modello originale e attualmente sta preparando Grok 2. Tuttavia, Elon Musk ha iniziato a promuovere il prossimo modello next-gen, il Grok 3, affermando che sarà molto più potente dei suoi predecessori.
"Grok 3, a fine anno dopo l'addestramento su 100.000 H100, dovrebbe essere davvero qualcosa di speciale," ha twittato Musk il 1 luglio 2024.
Le specifiche dell'hardware utilizzato per addestrare Grok 3 sono sorprendenti e allo stesso tempo creano grandi aspettative sui possibili risultati, poiché finora nessuno ha impiegato un tale numero di GPU Nvidia H100 per addestrare un LLM.
Secondo indiscrezioni, GPT-4 di OpenAI è stato addestrato su 40.000 GPU AI A100, che sono relativamente datate rispetto alle H100 e nettamente inferiori in quantità. Pertanto, possiamo solo immaginare cosa sarà in grado di fare Grok 3.
In un precedente tweet, Elon Musk aveva affermato che addestrare modelli di linguaggio usando dati presi da internet è faticoso e richiede molte risorse. Ha detto che il modello Grok 2, previsto per agosto, rappresenta un miglioramento in questo campo e che il prossimo modello Grok 3 si baserà su questi miglioramenti, diventando fin da subito un prodotto di grande rilievo per xAI.
Oltre a questo, Musk ha dichiarato che intende acquisire gli acceleratori AI Blackwell B200 di punta di NVIDIA per xAI per un valore di 9 miliardi di dollari, una cifra enorme considerando le dinamiche del mercato. Con Grok 3 che utilizza 100.000 unità di H100 di NVIDIA, il costo del solo addestramento del modello è stimato intorno ai 3 miliardi di dollari, il che giustifica il fatto che Musk stia investendo al massimo delle sue possibilità con xAI.
Sarà interessante vedere come xAI e le sue iniziative contribuiranno allo sviluppo dell'intelligenza artificiale, ma considerando i capitali che ci sono dietro sembra che la startup di Musk abbia tutte le carte in regola per diventare la prossima grande novità.
