NVIDIA ha introdotto un nuovo sistema di compressione delle texture che offre una risoluzione quattro volte maggiore rispetto ai classici metodi BTC (Block Truncation Coding), mantenendo però dei requisiti di archiviazione molto simili. La tecnologia proposta da NVIDIA, denominata Random Access Neural Compression of Material Textures (NTC), comprime texture e catene mipmap di diversi materiali insieme, per poi decomprimerle con una rete neurale allenata su un pattern particolare di decompressione.
NTC permette di quadruplicare la risoluzione, aggiungendo due livelli di dettaglio aggiuntivi, per un totale di 16 volte più texel, richiedendo circa la stessa quantità di spazio dei metodi tradizionali. Ciò significa che, ad esempio, con NTC si potrebbero usare texture compresse e ottimizzate con una risoluzione fino a 8K (8192 x 8192).
La tecnologia di NVIDIA sfrutta le ridondanze spaziali tra i livelli mipap e i diversi canali dei materiali, in modo da garantire che venga mantenuto un alto livello di dettaglio anche quando si è vicini agli oggetti, qualcosa che i metodi attuali non riescono a fare. Secondo l’azienda, le texture sono decompresse sfruttando i Tensor Core, ciò significa che NTC non richiede hardware dedicato, ma è compatibile verosimilmente con tutte le GPU NVIDIA dalla serie RTX 2000 in poi. I problemi di adozione potrebbero però essere legati al lavoro che graverebbe sugli sviluppatori, dato che ogni texture necessita di una propria rete neurale ottimizzata.
Dando uno sguardo alle immagini mostrate da NVIDIA, NTC è palesemente superiore ai classici metodi BTC, inoltre l’azienda afferma che è paragonabile o perfino migliore degli attuali standard di compressione AVIF e JPEG XL. Come ammesso da NVIDIA stessa il nuovo algoritmo è però più lento, dato che impiega fino a 1,15ms per renderizzare un’immagine 4K rispetto ai soli 0,49ms di BTC.
Sebbene Random Access Neural Compression of Material Textures sia una tecnologia agli albori, in futuro potrebbe essere accelerata inserendo un maggior numero di unità di calcolo dedicate, aumentando la cache o perfino creando hardware apposito, progettato unicamente per NTC. L’algoritmo richiede più risorse rispetto a quelli standard, tuttavia i primi test mostrano che può essere usato nella renderizzazione in tempo reale e che i millisecondi aggiuntivi necessari possono essere compensati (almeno in parte) dall’esecuzione in contemporanea di altre attività, come la renderizzazione del ray tracing, grazie alle capacità della scheda video di nascondere la latenza.
Certo l’algoritmo non è esente da svantaggi: non preserva completamente la qualità originale, comporta un peggioramento qualitativo ai bitrate più bassi, offre benefici ridotti quando l’inquadratura è distante, inoltre i benefici sono proporzionali al numero di canali, segno che NTC potrebbe non essere così interessanti quando i canali sono pochi. Nonostante questo, le potenzialità sono molto interessanti dato che la qualità ottenuta è superiore a qualsiasi standard attuale; i ricercatori di NVIDIA sono fiduciosi che questo sia l’approccio giusto per avere, in futuro, una qualità di livello cinematografico nella renderizzazione in tempo reale (allo stato attuale, NTC non è adatto al rendering real time) e per migliorare le prestazioni nelle applicazioni grafiche con memoria limitata. L’impatto sulle prestazioni causato dalla latenza aggiuntiva non è da sottovalutare, ma siamo sicuri che la società risolverà anche questo problema prima di introdurre NTC.