Nvidia DLSS (Deep Learning Super Sampling), analisi: tutto parte con l’upscaling

La nuova tecnologia DLSS (Deep Learning Super Sampling) di Nvidia è una delle caratteristiche più promettenti dell’architettura Turing, come abbiamo visto recensendo le schede GeForce RTX 2080 Ti, RTX 2080 e RTX 2070. È però anche tra più misteriose. Nvidia non ha spiegato nel dettaglio come funziona DLSS e per questo motivo abbiamo impegnato alcune ore di test e analisi delle immagini per cercare di saperne di più.

Il DLSS spiegato da Nvidia

Nella sua descrizione del funzionamento del DLSS, Nvidia è stata piuttosto superficiale. Come abbiamo scritto nell’articolo di approfondimento dell’architettura Turing, l’azienda ha presentato DLSS come una soluzione in grado di garantire migliori prestazioni rispetto all’AA in QHD e 4K, ottenendo al tempo stesso anche una migliore qualità d’immagine. Grafica migliore e prestazioni in crescita quindi, un’affermazione forte, che lascia perplessi, e che naturalmente abbiamo cercato di verificare nelle nostre recensioni confrontando le prestazioni e l’immagine finale offerta da DLSS rispetto al TAA (Temporal Anti-Aliasing).

Nella guida distribuita da Nvidia ai recensori per il test della RTX 2070, l’azienda ha parlato del DLSS in questi termini. “DLSS si affida a una rete neurale profonda per estrarre caratteristiche multidimensionali di una scena renderizzata e combinare in modo intelligente i dettagli da più immagini (frame) per costruire un’immagine finale di alta qualità. Questo permette alle GPU Turing di usare metà dei campioni (sample) per il rendering e di usare l’intelligenza artificiale per colmare l’informazione e creare l’immagine finale”. Questa spiegazione lascia intendere che il processore grafico si occupa solo di una parte dello shading di ogni immagine, lasciando il resto ai Tensor core dell’architettura, che hanno il compito di riprodurre i pixel mancanti tramite l’intelligenza artificiale.

DLSS potrebbe essere definito più semplicemente come una tecnica di upscaling perfezionata applicando l’IA? Sembra una spiegazione plausibile, specie se si tiene conto che il processo delle immagini è una delle applicazioni più importanti dell’IA. È anche possibile che DLSS coinvolga un mix di upscaling, anti-aliasing (AA) e riempimento dei pixel mancanti.

I primi segnali visivi

A volte DLSS appare migliore di TAA, a volte peggiore. In ogni caso, quanto prodotto dalla tecnologia è comunque di buon livello. La nostra analisi si concentra sui singoli frame in regioni selezionate e ingrandite. Il gameplay reale, data la velocità, rende molto più difficile osservare le differenze tra DLSS o TAA a 3840 x 2160, e in determinate scene, gli artefatti che impattano su TAA non si palesano con DLSS.

Abbiamo riscontrato che DLSS funziona in modo molto più efficiente in 4K che in QHD, portando a un’immagine finale più pulita. Quando però guardiamo a determinate immagini, ci sono delle tracce specifiche che suggeriscono che l’immagine è stata renderizzata a una risoluzione minore rispetto a quella indicata. Siamo stati anche in grado di modificare i file di configurazione di Nvidia Infiltrator e del test di Final Fantasy XV per farli funzionare senza AA. Questo ci ha aiutato molto nella nostra analisi.

Tutte le schermate di confronto sono identiche – salvo alcune innegabili variazioni dovute agli effetti luminosi. Gli ingrandimenti sono stati fatti senza filtri per preservare l’autenticità di ogni immagine. Le immagini sono in formato PNG per non perdere qualità.

Quando DLSS funziona a meraviglia

In questa immagine è difficile distinguere tra le tecnologie. DLSS fa un grande lavoro, e potete vedere osservando la vegetazione sullo sfondo che offre un’immagine di qualità superiore rispetto a TAA.

La demo tecnologica di Final Fantasy XV rappresenta la migliore implementazione di DLSS vista finora. La demo Infiltrator è leggermente sotto come livello complessivo, anche se il suo rendering DLSS è ottimo se osservato in tempo reale. Di nuovo, in alcune scene, DLSS è molto efficace. Nell’immagine di seguito DLSS si avvicina alla perfezione.

Quando DLSS mostra i propri limiti

Dopo aver ingrandito dozzine d’immagini per prendere familiarità con DLSS e i suoi punti di forza e debolezza, siamo riusciti a scovare delle “falle” che ci hanno portato a chiederci se DLSS stesse renderizzando nativamente in 4K (3840×2160) o QHD (2560×1440).

Abbiamo anche notato che DLSS tradisce la sua vera risoluzione nel primo fotogramma di ogni nuova scena (vedi sopra). Nell’immagine sotto, le immagini catturate prese 40 frame dopo mostrano che DLSS attenua le scalettature con grande efficienza. Soprattutto in 4K, la qualità dell’uscita di DLSS è difficile da distinguere dal vero 4K con TAA applicato.

L’aliasing è tuttavia talvolta visibile nel mezzo di una sequenza con DLSS attivo, e persiste nel corso della scena. Controllate l’immagine sotto, dove i bordi scalettati sono evidenti nella cattura “4K DLSS” rispetto a “4K TAA”.

Volevamo sapere cosa stesse succedendo “sotto il cofano” per arrivare a risultati così diversi. Nelle pagine seguenti vi mostriamo quello che abbiamo capito in base alle nostre analisi.

Punti di forza e debolezza di DLSS in un’immagine

Nello scatto con DLSS attivato, lo sfondo e la sua vegetazione appaiono migliori rispetto alle schermate catturate senza AA o con TAA abilitato. L’aliasing è invece più pronunciato sui bordi dell’auto. Infine, il testo sulla targa nel nostro esempio di DLSS rivela una mancanza di definizione rispetto al 4K con e senza AA. In breve, il DLSS non può sempre fare miracoli.