Nvidia ha presentato, durante il Supercomputing 23, i chip H200 e GH200, i più potenti mai creati dall'azienda. Questi chip, basati sull'architettura Hopper H100, mostrano notevoli miglioramenti nella capacità di memoria e nelle prestazioni di calcolo.
Progettati per alimentare la prossima generazione di supercomputer per l'intelligenza artificiale, si prevede che entro il 2024 offriranno oltre 200 exaflops di capacità di calcolo AI.
Il fulcro dell'attenzione sembra essere l'H200 GPU, caratterizzato da un notevole incremento nella capacità di memoria e nella larghezza di banda per GPU. La versione aggiornata dell'H200 presenta una memoria totale HBM3e di 141 GB con una larghezza di banda di 4,8 TB/s per GPU attraverso sei stack HBM3e.
Questo rappresenta un salto significativo rispetto all'H100 originale, che offriva 80 GB di HBM3 e 3,35 TB/s di larghezza di banda. L'H200 SXM offre il 76% in più di capacità di memoria e il 43% in più di larghezza di banda rispetto alla variante H100 SXM.
Le prestazioni di calcolo non sembrano essere drasticamente cambiate: Nvidia ha presentato una configurazione HGX 200 con otto GPU che offrivano un totale di "32 PFLOPS FP8". L'H100 originale offriva 3.958 teraflops di FP8, quindi otto GPU simili già fornivano circa 32 petaflops di FP8.
Nvidia sostiene che l'H200 sarà fino a 18 volte più veloce del precedente A100 per modelli linguistici come GPT-3, i quali traggono vantaggio da una maggiore capacità di memoria.
Inoltre, Nvidia ha accennato al futuro Blackwell B100, anche se al momento non sono ancora stati rivelati dei dettagli precisi.
L'annuncio non riguarda solo l'H200, ma anche il nuovo GH200 che unisce l'H200 con la CPU Grace. Ogni GH200 avrà una memoria combinata di 624 GB, rispetto ai 480 GB di memoria LPDDR5x e 96 GB di memoria HBM3 del GH100. La nuova iterazione utilizza 144 GB di HBM3e.