Presentando il server DGX-2 alla GTC 2018, il CEO di Nvidia Jen-Hsun Huang lo definì senza mezzi termini "la GPU più grande al mondo". Huang basava la sua affermazione sul fatto che all'interno del server erano presenti 16 potenti GPU Tesla V100 e un totale di 512 GB di memoria HBM2, che si presentavano al sistema host come un'unica grande GPU con spazio di memoria unificato. Una potenza di calcolo incredibile, usata per affrontare i carichi di lavoro del machine learning, ma non abbastanza secondo Nvidia.
Il sito Servethehome ha notato che Nvidia ha portato sul mercato, senza fargli troppa pubblicità, un nuovo modello del server chiamato DGX-2H. Questa nuova versione ha la stessa quantità di GPU, per un totale di 81.920 CUDA core e 10.240 Tensor core, ma l'azienda ha aumentato le prestazioni di uno step alzando il power limit delle GPU Tesla V100.
Nvidia aveva già aumentato il power limit di Tesla V100 da 300 a 350 watt al lancio di DGX-2. Ora l'azienda l'ha incrementato ulteriormente a 450 watt per GPU, passando al contempo a due processori Intel Xeon Platinum 8174 rispetto ai precedenti 8186, entrambi con 24 core ma con il modello 8174 capace di operare a 3,1 GHz. Questi cambiamenti portano la richiesta energetica del sistema da 10 a 12 kilowatt e le prestazioni da 2 a 2,1 petaflops.
Il miglioramento prestazionale a fronte del grande aumento del consumo energetico sembra contenuto, ma bisogna tenere presente che i vantaggi nel far lavorare le GPU a frequenze più alte possono avere un impatto maggiore su alcuni carichi di lavoro più che in altri, pertanto i test usati per rilevare le prestazioni potrebbero non quantificare completamente il vantaggio di avere a disposizione due kilowatt in più.
Maggiori consumi fanno immediatamente pensare anche a più calore, ma Nvidia non ha chiarito se il sistema di raffreddamento sia stato migliorato per far fronte alle nuove specifiche. A ogni modo, la scelta di spingere la curva di tensione / frequenza più in alto per ottenere più prestazioni dalle sue GPU è uno dei pochi passaggi rimasti per aumentare le prestazioni in un design ormai maturo.
Il prossimo passo sarà quello di presentare una nuova architettura, e non dovrebbe essere Turing. La sensazione è che Nvidia abbia ormai intrapreso il cammino di realizzare architetture specializzate (ma con alcuni elementi comuni) per i differenti mercati in cui opera. Il server DGX-2 è venduto a circa 400.000 dollari, e al momento non è chiaro quanto costi la versione DGX-2H, anche se per noi comuni mortali non è che faccia molta differenza. Certe cose meglio non saperle…