Nel segmento delle memorie ad alta densità per l'intelligenza artificiale, Micron compie un passo significativo annunciando moduli SOCAMM2 da 256 GB, realizzati grazie all'introduzione di nuovi chip LPDDR5X da 32 Gigabit, che la società statunitense dichiara di essere la prima al mondo a portare sul mercato. Si tratta di un traguardo tecnico rilevante nel contesto della corsa all'infrastruttura per l'addestramento e l'inferenza dei modelli di intelligenza artificiale, dove la capacità di memoria rappresenta spesso il principale collo di bottiglia. Micron aveva già sorpreso il settore campionando moduli da 192 GB, ma il salto a 256 GB ridefinisce ulteriormente i limiti di densità fisica e logica per questo formato.
Dal punto di vista architetturale, il risultato è ottenuto attraverso uno stacking aggressivo: ciascun chip LPDDR5X da 32 Gigabit integra sedici die impilati in un singolo package, raggiungendo così 64 GB per singolo componente LPDRAM. Poiché ogni modulo SOCAMM2 ospita quattro di questi componenti, la capacità totale arriva a 256 GB per gumstick, stabilendo il nuovo record di densità per moduli di memoria sia in termini di capacità logica sia di volume fisico occupato.
L'impatto sulle configurazioni server è considerevole. In un sistema con architettura a 8 canali di memoria, l'adozione di questi nuovi moduli consente di raggiungere fino a 2 terabyte di RAM per singola CPU, una soglia che apre scenari prima impraticabili per l'elaborazione locale di modelli linguistici di grandi dimensioni. A rendere ancora più interessante la proposta, Micron afferma che i moduli SOCAMM2 consumano solo un terzo dell'energia rispetto ai tradizionali RDIMM registrati, un vantaggio non trascurabile considerando che le batterie di moduli di memoria nei server rack contribuiscono in modo significativo al consumo energetico complessivo degli impianti di addestramento AI.
Le affermazioni prestazionali di Micron sono ambiziose e misurabili. Il passaggio dai moduli da 192 GB a quelli da 256 GB comporterebbe un raddoppio delle prestazioni nelle analisi dati Spark SVM e un miglioramento del 2,3 volte nel tempo al primo token con una finestra di contesto a 500.000 token, rispetto a una configurazione da 1,5 TB basata sui moduli precedenti da 192 GB. Questi dati suggeriscono che molti operatori di data center potrebbero valutare concretamente la sostituzione della memoria installata, anche su sistemi già in produzione, per sfruttare l'incremento di capacità senza modificare l'hardware di base.
Il formato SOCAMM2 è già presente in piattaforme di primo piano: NVIDIA Blackwell Ultra lo utilizza nativamente, così come le workstation desktop basate sui superchip Grace Blackwell, tra cui il Dell Pro Max GB300. Rispetto ai DIMM standard, i moduli SOCAMM2 offrono anche velocità di trasferimento superiori, il che alimenta la riflessione su una possibile standardizzazione dell'industria attorno a questo formato, con vantaggi logistici per tutta la filiera.
Tuttavia, l'eventualità che questi moduli raggiungano il mercato desktop consumer rimane per ora una prospettiva lontana, e in un contesto geopolitico in cui le tensioni internazionali sui semiconduttori si fanno sempre più stringenti, la separazione tra memoria enterprise e consumer potrebbe rivelarsi un elemento di stabilità per l'ecosistema PC tradizionale.
