La startup Panmnesia, supportata dall'istituto sudcoreano KAIST, ha recentemente lanciato una nuova tecnologia IP rivoluzionaria che consente di estendere la memoria delle GPU AI utilizzando il protocollo CXL tramite PCIe. Questa innovazione mira a superare i limiti di capacità della memoria attualmente disponibile in questi dispositivi.
Le accelerazioni AI attuali sono limitate alla memoria integrata HBM, a causa della quantità ridotta che i produttori possono incorporare. Con i dati in continuo aumento, e la crescente necessità di potenza, l'industria ha tendenzialmente incrementato il numero di GPU AI, un approccio che non risulta sostenibile a lungo termine, data l'intensità delle risorse finanziarie e produttive richieste.
A questo proposito, Panmnesia ha presentato un IP CXL che permette alle GPU di utilizzare memoria esterna da DRAM o SSD, espandendo la memoria HBM incorporata. Per facilitare la connettività, CXL utilizza collegamenti PCIe, favorendo così una vasta adozione tra i consumatori.
Tuttavia, le accelerazioni IA tradizionali non possiedono i sottosistemi necessari per connettersi e sfruttare direttamente il CXL per l'espansione della memoria, e soluzioni come la UVM (Unified Virtual Memory) sono relativamente lente, rendendole poco efficaci.
Per risolvere questi ostacoli, Panmnesia ha sviluppato un chip Root Complex conforme a CXL 3.1, dotato di più porte che collegano la GPU alla memoria esterna attraverso un bus PCIe. Un decoder HDM (Host-Managed Device Memory) funge da ponte nella connessione, gestendo l'allocazione e la traduzione della memoria.
Interessante notare che Panmnesia ha deciso di confrontare la loro soluzione (CXL-Opt) con prototipi sviluppati da Samsung e Meta, che sono stati etichettati come "CXL-Proto". A sorpresa, CXL-Opt ha raggiunto una latenza di andata e ritorno significativamente inferiore, misurata in decine di nanosecondi, mentre CXL-Proto ha registrato una latenza di 250 nanosecondi.
Inoltre, il tempo di esecuzione di CXL-Opt è notevolmente inferiore a quello della soluzione UVM, con prestazioni di IPC superiori di 3.22 volte.
In conclusione, la soluzione proposta da Panmnesia potrebbe rappresentare un importante avanzamento nel mercato, fungendo da intermediario tra l'impilamento dei chip HBM e il passaggio a una soluzione più efficiente. Essendo tra i primi a presentare un innovativo IP CXL, il successo di questa tecnologia potrebbe portare significativi benefici a Panmnesia.