Ennesimo tentativo di fare meglio di un azienda che progetta GPU per il calcolo parallelo da quasi 20 anni usando il massimo della tecnologia. Catena di supporto SW inclusa.
Ovvero non c'è spazio per gli altri finché la corsa all'ultimo modello più prestazionale è in vigore e non ci si può permettere di puntare sul cavallo sbagliato rischiando di rimanere indietro.
Soprattutto perché la progettazione non può essere una una-tantum. Se anche fai un bel processore per l'AI oggi, devi continuare a pomparlo anche per domani senza rivoluzionarlo, altrimenti chi si è appoggiato a Nvidia invece di sperare di farle la guerra otterrà le sue nuove GPU prima con la sicurezza che tutto il SW sviluppato fino a quel momento non è da buttare via.
Questo commento è stato nascosto automaticamente.
Ennesimo tentativo di fare meglio di un azienda che progetta GPU per il calcolo parallelo da quasi 20 anni usando il massimo della tecnologia. Catena di supporto SW inclusa. Ovvero non c'è spazio per gli altri finché la corsa all'ultimo modello più prestazionale è in vigore e non ci si può permettere di puntare sul cavallo sbagliato rischiando di rimanere indietro. Soprattutto perché la progettazione non può essere una una-tantum. Se anche fai un bel processore per l'AI oggi, devi continuare a pomparlo anche per domani senza rivoluzionarlo, altrimenti chi si è appoggiato a Nvidia invece di sperare di farle la guerra otterrà le sue nuove GPU prima con la sicurezza che tutto il SW sviluppato fino a quel momento non è da buttare via.
L'idea non e' totalmente "sgangherata".
NVidia progetta GPU, Graphics Process Units, usate specificicatamente per la grafica 3D, ora estense per fare anche Machine Learning.
Ma non e' la stessa cosa del progettare acceleratori specifici per gli LLM.
Cosi' come non e' la stessa cosa del progettare acceleratori per il calcolo scientifico.
Per fare un esempio banale:
per la grafica di servono i float a 32 bit (quelli a 64 non sono molto utili),
per il calcolo scientifico di servono i float a 64bit o anche a 128bit,
per gli LLM di bastano i float a 16 bit o anche a 8bit (o a 4!!!)
Va da se che avere un acceleratre con il supporto al float 32/64/128 SE ti basta il float 16/8 e' uno spreco di risorse
Questo commento è stato nascosto automaticamente.
L'idea non e' totalmente "sgangherata". NVidia progetta GPU, Graphics Process Units, usate specificicatamente per la grafica 3D, ora estense per fare anche Machine Learning. Ma non e' la stessa cosa del progettare acceleratori specifici per gli LLM. Cosi' come non e' la stessa cosa del progettare acceleratori per il calcolo scientifico. Per fare un esempio banale: per la grafica di servono i float a 32 bit (quelli a 64 non sono molto utili), per il calcolo scientifico di servono i float a 64bit o anche a 128bit, per gli LLM di bastano i float a 16 bit o anche a 8bit (o a 4!!!) Va da se che avere un acceleratre con il supporto al float 32/64/128 SE ti basta il float 16/8 e' uno spreco di risorse
Quello che dici è vero, ma per fare un acceleratore AI non basta mettere mille moltiplicatori matriciali BF16 insieme. Servono altre risorse, come controlli di memoria avanzati che supportano le ultime frequenze (e magari anche oltre se non si vuole riprogettare tutto appena esce la versione delle HBM più veloce), scheduler interni che sappiano bilanciare i carichi, quindi bus diversi al alte prestazioni, capacità di comunicazione altissime e senza colli di bottiglia se si vuole scalare a dimensioni di data center e per finire il SW. E trovare chi di fa il silicio e ti dà i componenti. Non è che gli slot a 3 o 4nmm tanto meno lo spazio per il packaging avanzato e la produzione di HBM sia così abbondante. E silicio in mano, tutto quanto non va se non c'è qualcosa che compila il codice per il nuovo acceleratore e deve anche farlo al meglio con ottimizzazioni spaventose se si vuole raggiungere la concorrenza che sono 2 decenni che progetta e programma sistemi dotati di migliaia di unità parallele e concorrenti.
Che si possa fare nessuno lo mette in dubbio. Che lo si possa fare però battendo la concorrenza nel bel mezzo di una gara senza fine, non lo credo proprio.
Se toppi rimani indietro, se non vuoi toppare devi mettere in conto il costo dell'R&D casalingo, che non è cosa breve perché di sicuro non uscirà un capolavoro al primo tentativo e deve essere continuamente a livello di quello che stai andando a battere se non vuoi una vittoria di Pirro, ma anche il costo di continuare a usare il meglio che c'è sul mercato come fanno i tuoi concorrenti.
Vero che Meta è nota per bruciare soldi come non ci fosse un domani, ma anche loro hanno dei limiti a cui prima o poi giungeranno.
Questo commento è stato nascosto automaticamente.