Dopo la Legge di Moore, arriva la Legge di Huang: NVIDIA sostiene la capacità di elaborazione dell’IA delle sue GPU sia cresciuta di 1000 volte negli ultimi 10 anni. Secondo un post sul blog ufficiale, i miglioramenti di prestazioni visti anche di recente non si fermeranno, ma continueranno ad arrivare.
Bill Dally, Capo Scienziato di NVIDIA, lo descrive come un “cambiamento tettonico nel modo in cui le prestazioni dei computer vengono fornito nell’era dopo la legge di Moore”. Si tratta di qualcosa di abbastanza imprevedibile, specialmente per stabilire una legge, ma Dally sostiene che il grafico che vedete qui sotto segni l’inizio della Legge di Huang: l’immagine mostra un aumento di 1000 volte nelle performance di inferenza IA delle GPU negli ultimi 10 anni.
A differenza della Legge di Moore, qui il miglioramento dei processi produttivi ha avuto pochissimo impatto sul progresso della Legge di Huang: Dally durante l’Hot Chips 2023 ha dichiarato infatti che “[i processi produttivi] hanno contribuito solo per 2,5 volte ai guadagni totali”.
Dally ha raccontato che le prestazioni sono aumentate di 16 volte cambiando il modo in cui le GPU gestiscono i numeri, mentre con l’architettura Hopper abbiamo assistito a un incremento di 12,5 volte e, con Ampere, le performance sono raddoppiate grazie all’uso delle matrici sparse.
NVIDIA afferma che ci sono ancora diverse opportunità che permetteranno alla Legge di Huang di progredire: tra queste ci sono “Un’ulteriore semplificazione di come i numeri vengono rappresentati, la creazione di più matrici sparse nei modelli IA e la progettazione di circuiti di memoria e comunicazione migliori”.