Durante l'attesissima apparizione al Computex 2023, il CEO di NVIDIA, Jensen Huang, è salito sul palco per il primo live show dell'azienda in quattro anni. Con grande convinzione, ha proclamato che l'IA generativa e il computing accelerato sono il futuro del settore, infliggendo un duro colpo all'intero settore delle CPU. Le osservazioni di Huang hanno messo in discussione la nozione di lunga data della Legge di Moore, secondo la quale è possibile ottenere un aumento della velocità di 10 volte ogni cinque anni mantenendo i livelli di potenza e di costo. Secondo Huang, quei tempi sono ormai alle nostre spalle, poiché la maggior parte dei futuri miglioramenti di velocità deriveranno dall'IA generativa e dall'elaborazione accelerata.
NVIDIA ha fatto un ulteriore passo avanti presentando al Computex un'interessante analisi del costo totale di proprietà (TCO) che evidenzia i vantaggi della sua tecnologia Large Language Model (LLM). L'analisi ha messo a confronto i costi e le efficienze dell'addestramento di un singolo LLM utilizzando cluster di CPU e GPU. Tradizionalmente, per addestrare un solo LLM era necessario un server basato su CPU del valore di 10 milioni di dollari. Questo costo comprendeva l'intero cluster di server, comprese le reti, l'involucro e le interconnessioni. Inoltre, il consumo di energia per questo processo ammonta a ben 11 GWh.
In netto contrasto, NVIDIA ha dimostrato che investendo gli stessi 10 milioni di dollari in un cluster di GPU, è stato possibile addestrare 44 LLM, consumando solo 3,2 GWh di energia. Questo scenario, noto come costo ISO nell'analisi TCO, mantiene costante il costo irrecuperabile. In alternativa, concentrandosi sulla potenza ISO e mantenendo il consumo di energia a 11 GWh, è stato possibile ottenere una notevole accelerazione, di ben 150 volte: ciò ha comportato la formazione di 150 LLM per un costo totale di 34 milioni di dollari. Anche con questo sostanziale aumento del carico di lavoro, il cluster di GPU aveva un ingombro fisico significativamente inferiore rispetto alla sua controparte CPU.
Per chi vuole mantenere lo stesso carico di lavoro, un server GPU da soli 400.000 dollari con un consumo energetico di 0,13 GWh è sufficiente per addestrare un singolo LLM. Ciò significa che l'approccio di NVIDIA richiede solo il 4% del costo e un mero 1,2% dell'energia consumata dai server basati su CPU, il che rappresenta un'enorme riduzione delle spese e del consumo energetico. La presenza di NVIDIA al Computex 2023 è stata caratterizzata da audaci affermazioni sulla futura traiettoria del computing. Sostenuta da un'analisi completa del TCO, l'azienda ha illustrato gli enormi vantaggi dell'IA generativa e dell'elaborazione accelerata, posizionandosi in prima linea nell'evoluzione del settore.