Microsoft ha annunciato piani ambiziosi per spostare la maggior parte dei propri carichi di lavoro AI sui propri acceleratori personalizzati. L'azienda al momento dipende dai chip di terzi, sopratutto Nvidia, e sembra in ritardo da questo punto di vista. Ma forse è uno di quei casi in cui vale il detto meglio tardi che mai.
Concorrenti come Amazon e Google sviluppano CPU personalizzate e acceleratori AI da diversi anni, mentre Microsoft ha rivelato i suoi acceleratori Maia soltanto alla fine del 2023. Questo ritardo non ha scoraggiato Kevin Scott, CTO di Microsoft, che durante una conversazione moderata da CNBC mercoledì ha espresso chiaramente le intenzioni dell'azienda. "Assolutamente sì", ha risposto quando gli è stato chiesto se l'idea a lungo termine fosse quella di avere principalmente chip Microsoft nei data center.
Scott ha spiegato che si tratta di un approccio sistemico: "È l'intero design del sistema. Sono le reti e il raffreddamento, e vuoi poter avere la libertà di prendere le decisioni necessarie per ottimizzare davvero il tuo calcolo per il carico di lavoro".
Il primo acceleratore AI proprietario dell'azienda, il Maia 100, ha già permesso a Microsoft di liberare capacità GPU trasferendo GPT-3.5 di OpenAI sul proprio hardware nel 2023. Tuttavia, con soli 800 teraFLOPS di prestazioni BF16, 64GB di HBM2e e 1,8TB/s di larghezza di banda della memoria, il chip è rimasto ben al di sotto delle GPU concorrenti di Nvidia e AMD.
Microsoft sta già lavorando per colmare questo gap prestazionale. L'azienda sarebbe in procinto di portare sul mercato un acceleratore Maia di seconda generazione il prossimo anno, che promette prestazioni più competitive in termini di calcolo, memoria e interconnessione.
Negli ultimi anni, Google e Amazon hanno distribuito decine di migliaia dei loro acceleratori TPU e Trainium, conquistando alcuni clienti di alto profilo come Anthropic. Tuttavia, questi chip vengono utilizzati più spesso per accelerare i carichi di lavoro interni delle aziende piuttosto che per servire clienti esterni.
Se per il momento Nvidia non sembra doversi preoccupare, dunque, a medio e lungo termine la diffusione di chip alternativi potrebbe avere un impatto sempre maggiore. Da non trascurare, poi, il fatto che i software IA diventano allo stesso tempo più efficienti, mentre le aziende si orientano verso workload più specifici ed efficienti.
Le risorse di calcolo per ogni workload potrebbero quindi scendere almeno un po', rendendo più interessanti anche chip con meno prestazioni e prezzo inferiore.
Oltre agli acceleratori AI, infine, MS sta sviluppando anche una propria CPU chiamata Cobalt e un'intera gamma di chip per la sicurezza della piattaforma, progettati per accelerare la crittografia e proteggere gli scambi di chiavi attraverso i suoi vasti domini di data center.
L'azienda fondata da Bill Gates è un punto di riferimento mondiale per il software, ma sembra proprio che la sua prossima area di espansione sarà l'hardware.
