Mentre le GPU di ultima generazione hanno raggiunto prestazioni straordinarie grazie alla memoria ad alta larghezza di banda (HBM), i sistemi di archiviazione stanno diventando il collo di bottiglia che limita le potenzialità dei processi di training e inferenza AI. La risposta a questa criticità arriva direttamente da NVIDIA, che secondo Wallace C. Kuo di Silicon Motion Technology sta collaborando con i partner per sviluppare SSD capaci di raggiungere 100 milioni di operazioni di input/output al secondo (IOPS) nelle operazioni di lettura casuale con blocchi di piccole dimensioni. Un obiettivo che, se raggiunto, rappresenterebbe una rivoluzione nel settore dello storage ad alte prestazioni.
Il divario prestazionale tra memoria e storage è diventato drammatico con l'avvento degli acceleratori AI più recenti. I processori Nvidia B200, ad esempio, vantano una larghezza di banda della memoria HBM3E di circa 8 TB/s, una cifra che supera di gran lunga le capacità dei sottosistemi di storage attuali sia in termini di throughput complessivo che di latenza. Gli SSD PCIe 5.0 x4 più avanzati raggiungono al massimo 14,5 GB/s e offrono prestazioni comprese tra 2 e 3 milioni di IOPS per letture casuali su blocchi da 4K e 512B.
La peculiarità dei modelli di intelligenza artificiale risiede nel loro pattern di accesso ai dati: mentre i blocchi da 4K sono ottimali per la larghezza di banda, i sistemi AI tendono a eseguire piccoli accessi casuali e frequenti, rendendo i blocchi da 512B più adatti alle loro esigenze sensibili alla latenza. Tuttavia, moltiplicare per 33 volte il numero di operazioni al secondo rappresenta una sfida ingegneristica monumentale, considerando i limiti intrinseci sia dei controller SSD che della memoria NAND tradizionale.
Kioxia ha già avviato lo sviluppo di un 'AI SSD' basato sulla propria tecnologia XL-Flash, progettato per superare i 10 milioni di IOPS su blocchi da 512K. L'azienda giapponese prevede di lanciare questo dispositivo nella seconda metà del prossimo anno, probabilmente in concomitanza con il rollout della piattaforma Vera Rubin di Nvidia. Per raggiungere la soglia dei 100 milioni di IOPS, una strategia potrebbe essere l'utilizzo di configurazioni multiple di questi 'AI SSD' specializzati.
Tuttavia, secondo Kuo, ottenere 100 milioni di IOPS su un singolo drive utilizzando NAND convenzionale mantenendo costi e consumi energetici accettabili rappresenta una sfida quasi impossibile con le tecnologie attuali. "Credo che stiano cercando un cambiamento nel supporto di memorizzazione", ha dichiarato il dirigente di SMI. "Optane avrebbe dovuto essere la soluzione ideale, ma ora non c'è più. Kioxia sta tentando di introdurre XL-NAND e migliorarne le prestazioni. SanDisk sta provando a presentare High Bandwidth Flash (HBF), ma onestamente non ci credo davvero".
La ricerca di alternative tecnologiche è attualmente in pieno fermento. Diverse aziende, tra cui Micron e SanDisk, stanno sviluppando nuovi tipi di memoria non volatile che potrebbero rappresentare il salto quantico necessario per soddisfare le esigenze dell'AI. Tuttavia, i tempi di commercializzazione di queste tecnologie innovative rimangono incerti anche per gli esperti del settore. Come sottolinea Kuo: "In questo momento, tutti stanno promuovendo la propria tecnologia, ma l'industria ha davvero bisogno di qualcosa di fondamentalmente nuovo. Altrimenti, sarà molto difficile raggiungere 100 milioni di IOPS rimanendo economicamente sostenibili".
La scomparsa di Intel Optane dal mercato ha lasciato un vuoto tecnologico significativo nel settore delle memorie ad alte prestazioni. Questa tecnologia rappresentava una delle soluzioni più promettenti per colmare il gap tra la velocità della RAM e quella dello storage tradizionale. Ora l'industria si trova a dover esplorare strade alternative, con ogni grande produttore che cerca di sviluppare la propria soluzione proprietaria per conquistare questo mercato emergente e strategico.
L'incertezza sui tempi di sviluppo e commercializzazione delle nuove tecnologie di memoria riflette la complessità delle sfide ingegneristiche in gioco. Anche Wallace C. Kuo, nonostante la sua posizione privilegiata nel settore come responsabile di Silicon Motion, ammette di non essere sicuro su quando queste nuove tipologie di memoria diventeranno commercialmente praticabili.
