Metodologia di test
La ripetibilità è uno dei concetti più importanti di qualsiasi metodologia di test. Tutti i test hanno un certo grado di incertezza, ma l'obiettivo è mettere a punto prove che garantiscano la minore quantità di variabilità possibile. Risultati che cambiano drasticamente da una sessione all'altra non si possono definirsi accurati.
Per farvi un esempio, dobbiamo ancora sviluppare un test multi-tasking che possa dirsi affidabile. In risposta alle richieste dei lettori, abbiamo lavorato per creare una serie di test per misurare le prestazioni di gioco con software in background come browser web, client email, media player, Discord e Skype aperti.
La prioritizzazione di Windows sembra basarsi su fattori mutevoli e inspiegabili. Il sistema operativo sospende diversi processi in background in modo imprevedibile durante una sequenza scriptata, poi li lascia completamente attivi in quella successiva - anche quando l'ambiente di test non cambia. Questa incertezza si fa maggiore con l'aumentare dei software aperti. Impostare Windows in Game Mode complica ancora di più la faccenda. Al momento, non abbiamo soluzione. I nostri esperimenti in multi-tasking ci portano ad avere differenze tra 5 a 15 FPS tra sessioni di test consecutive, il che significa che secondo noi i risultati non sono affidabili.
Fortunatamente, lo streaming di giochi è molto più facile da controllare. La codifica è un'operazione che carica la CPU e che richiede un sacco di cicli, quindi Windows non la sospende o interferisce. Questo ci permette di creare benchmark ripetibili senza differenze estreme.
Che cosa misuriamo
Valutare le prestazioni nello streaming di giochi è qualcosa che coinvolge due aspetti: qualità del gioco e qualità dello streaming. Nei test misuriamo il frame rate medio, minimo e al 99esimo percentile con e senza streaming in background. Inseriamo inoltre i soliti risultati su frame time e variabilità, che diventano più importanti con lo streaming.
È necessario tenere presente anche la qualità dello streaming. Questo significa registrare la percentuale dei frame codificati. Ogni processore garantisce frame rate differenti, quindi ogni sessione genera di conseguenza un numero di frame differente. Come tale, misuriamo la percentuale dei frame codificati con successo come "% dei frame garantiti" (% of Frames Delivered). Nel test qui sotto, potete vedere una CPU Threadripper 1950X codificare il 98,9% dei frame generati dalla nostra sessione di gioco, il che significa che ha saltato l'1,1% del frame a causa di lag nella codifica.
Facciamo streaming a 60 FPS, perciò misuriamo la qualità indicando la percentuale dei frame codificati all'interno della soglia desiderabile di 16,667 ms (60 FPS). Abbiamo inserito anche la percentuale dei frame che superano o non raggiungono la soglia di 60 FPS, il che aiuta a quantificare i blocchi e lo stuttering che un utente dovrebbe vedere durante lo streaming.
Open Broadcaster System
Ci sono diversi software di codifica ma abbiamo scelto Open Broadcasting System (OBS) per le tante opzioni, i log dettagliati e l'ampia compatibilità con i servizi di streaming. Usiamo l'encoder software x264 e YouTube Gaming come servizio di streaming. Ogni sessione che riporta frame persi per interferenze della rete è stata scartata.
Il fine ultimo è di sviluppare un test che misura le prestazioni delle CPU, quindi abbiamo selezionato parametri che rimuovono i colli di bottiglia più evidenti. Giocare a 1920x1080 con una EVGA GeForce GTX 1080 FE elude la limitazione della CPU - per quanto possibile. L'overhead della codifica non è così alto con un minor numero di schede video che genera meno fps. Testiamo anche con un tasso di upload a 10 Mb/s, anche se potete fare streaming a 6 Mb/s o meno. La nostra connessione Internet è in grado di gestire upload fino a 35 Mb/s. Per quanto riguarda i giochi abbiamo scelto Grand Theft Auto V, Shadow of War e Battlefield 1.
Ci sono diverse cose che potevamo aggiungere per aumentare la complessità del test, come lo streaming simultaneo da una webcam, la registrazione del gameplay sul sistema o lo streaming verso più servizi in una volta sola. Abbiamo deciso di optare per un singolo servizio in modo da ridurre il numero di variabili... almeno per ora.
Trovare le migliori opzioni di streaming richiede un po' di interventi su ogni gioco e configurazione hardware. C'è un delicato bilanciamento tra le prestazioni di gioco sul sistema e la qualità dello streaming per chi guarda da remoto, quindi è necessario trovare il mix migliore. Abbiamo scelto opzioni in grado di creare un campo da gioco simile per un'ampia gamma di sistemi di test. Ci sono un sacco di opzioni che si possono regolare, alcune delle quali possono offrire prestazioni migliori di quelle che usiamo - abbassare lo streaming a 30 FPS, per esempio, riduce decisamente l'overhead della codifica.
 |  |  |  |
Agire sulle impostazioni preconfezionate della codifica è uno dei modi più diretti per intervenire sulle prestazioni di streaming e qualità in base alle capacità del nostro sistema. Rallentare la codifica aumenta l'efficienza della compressione, il che garantisce una migliore qualità di output e riduce gli artefatti legati alla compressione.
OBS ha 10 preset che vanno da "ultrafast" (l'impostazione con la qualità più bassa e il minimo overhead) a "placebo" (migliore qualità di streaming e consumo di risorse massimo). Il nome placebo ha un suo senso: c'è un'evidente riduzione dei miglioramenti della qualità di streaming dopo aver superato l'impostazione "slower" - due step prima di placebo. Le impostazioni più pesanti possono rapidamente mettere in ginocchio anche i processori più potenti, in particolare se fate streaming da un singolo computer.
Abbiamo suddiviso i nostri gruppi di test in tre classi differenti. Dopo aver valutato alcuni processori Core i3 e Ryzen 3 e determinato che non possono fare streaming in modo efficace alle nostre impostazioni, abbiamo scelto CPU Ryzen 5 e Core i5 per i nostri sistemi entry-level. Abbiamo usato l'impostazione di codifica "veryfast" per questa classe di CPU. naturalmente i processori di fascia più alta come Ryzen 7/Core i7 e Threadripper/Core i9 offrono più prestazioni e quindi abbiamo usato rispettivamente le impostazioni "faster" e "fast".
Dato che stiamo testando con differenti impostazioni di codifica, non potete confrontare i risultati di test tra classi differenti.
| Sistemi e configurazioni | |
|---|---|
| Hardware |
Intel LGA 1151 (Z370) Intel Core i5-8600K, Core i7-8700K MSI Z370 Gaming Pro Carbon AC 4x 8GB G.Skill RipJaws V DDR4-3200 @ 2666 e 3200 MT/s AMD Socket AM4 AMD Ryzen 5 1600X, Ryzen 7 1800X MSI Z370 Xpower Gaming Titanium 2x 8GB G.Skill RipJaws V DDR4-3200 @ 2667 e 3200 MT/s Intel LGA 1151 (Z270) Intel Core i5-7600K, Core i7-7700K MSI Z270 Gaming M7 2x 8GB G.Skill RipJaws V DDR4-3200 @ 2666 e 3200 MT/s AMD Socket SP3 (TR4) AMD Ryzen Threadripper 1950X Asus X399 ROG Zenith Extreme 4x 8GB G.Skill Ripjaws V DDR4-3200 @ 2666 e 3200 MT/s Intel LGA 2066 Intel Core i9-7900X, Core i9-7980XE MSI X299 Gaming Pro Carbon AC 4x 8GB G.Skill Ripjaws V DDR4-3200 @ 2666 e 3200 MT/s Tutto EVGA GeForce GTX 1080 FE 1TB Samsung PM863 SilverStone ST1500-TI, 1500W Windows 10 Creators Update Versione 1703 Corsair H115i |