RoboHornet Pro: Microsoft risponde a Google sul test dei browser

Dopo aver provato RoboHornet, un nuovo benchmark per browser Web, Microsoft ha deciso di presentare la propria versione del test: RoboHornet Pro.

Avatar di Adam Overa

a cura di Adam Overa

Introduzione: da Alpha a Pro in 24 ore

Microsoft ha trasformato RoboHornet ha creato RoboHornet Pro, una versione rivista e corretta del benchmark per browser di vi abbiamo parlato a inizio settimana (RoboHornet, un nuovo test per le prestazioni dei browser). L'azienda di Redmond non era soddisfatta del test così come lo abbiamo usato, e in questo non è sola. Anche Mozilla infatti ci ha tenuto a specificare quasi subito che gli aspetti tecnici di Robohornet Alpha sono perlomeno discutibili.

Forse Microsoft e Mozilla hanno capito che Google è il nemico, o almeno l'avversario da battere considerando i risultati di Chrome nei test con Windows e Linux.

Microsoft in particolare ha affermato che i nuovi test sono privi di significato perché non rispecchiano l'uso reale di un browser e le relative prestazioni. Ecco un frammento di ciò che si può leggere sul blog di Internet Explorer:

"Google ha pubblicato il suo più recente micro-benchmark, RoboHornet, nel quale Internet Explorer 10 ottiene risultati piuttosto buoni. Apprezziamo il gesto, ma la nostra squadra d'ingegneri ha esaminato il benchmark e determinato che non rappresenta le prestazioni che un vero utente potrebbe vedere nel quotidiano. Come tutti i benchmark sintetici RoboHornet si concentra solo su alcuni aspetti delle prestazioni di un browser".

"Usando caratteristiche moderne come animazioni, trasformazioni, ombreggiature CSS3, caratteri personalizzati WOFF, Unicode, Touch e altre abbiamo creato un sito che ricorda in qualche modo il film Matrix, da cui prende il nome. Abbiamo quindi eseguito il test RoboHornet in contemporanea al nostro Matrix: Chrome rallenta moltissimo e blocca le animazioni, perché non è progettato per gestire un carico simile in un contesto reale. Internet Explorer 10 resta reattivo, mantiene le animazioni a schermo e conclude il test in meno della metà del tempo rispetto a Chrome. Abbiamo reso disponibile RoboHornet Pro, affinché tutti possano verificare".

Mentre Microsoft sviluppava questa versione Pro, Justin Lebar di Mozilla apriva una pagina su GitHub per segnalare un bug di RoboHornet, dove dice "se volete che noi (nel mio caso Mozilla) prendiamo RoboHornet seriamente, raccomando caldamente di sviluppare un macrobenchmark ed eliminare il microbenchmark dal sito di test".

Successivamente John David Dalton di Microsoft ha eliminato i riferimenti a Microsoft dalla pagina dei sostenitori di RoboHornet, mentre il rappresentante di Mozilla Daniel Buchner ha abbandonato il comitato. Una débâcle, quella di RoboHornet, che ha spinto Mozilla a dare una risposta ufficiale:

"Ci sono molti benchmark in circolazione, e prove diverse per la stessa attività possono dare risultati molto differenti. Molti benchmark sono fini a sé stessi, perché i loro creatori scelgono alcuni programmi che ritengono meritevoli, e spesso solo dopo averli modificati li condividono con gli altri. Ciò di cui i produttori di browser e gli sviluppatori hanno davvero bisogno tuttavia è un buon benchmark che ci permetta di vedere meglio le prestazioni da un punto di vista olistico. Ci piacerebbe avere più test incentrati sull'esperienza utente nella sua totalità - per esempio sull'interazione, applicazioni web o siti famosi, o attività comuni come lo zoom su mobile".

I microbenchmark come RoboHornet non riflettono con accuratezza la navigazione Web, invece. RoboHornet cerca di misurare le prestazioni reali, senza però riuscirci. Al momento include 17 piccoli test, ognuno dei quali misura una delle cose che può fare un sito. Un vero sito Web però può fare centinaia e centinaia di cose, e quasi nessuna di loro è inclusa in RoboHornet; la lista inclusa in questo benchmark include cose che al momento risultano particolarmente lente su certi browser, e per questo fa scattare un campanello d'allarme per i rispettivi sviluppatori. È un servizio utile, ma non indica le prestazioni reali.

Non sappiamo ancora con certezza che cosa pensi Mozilla di RoboHornet Pro, la versione creata da Microsoft, ma faremo il possibile per avere una loro dichiarazione a riguardo quanto prima. Degli altri produttori di browser, Opera ha rifiutato di rispondere ed Apple risulta irreperibile.

RoboHornet Redux

RoboHornet Pro è già migliore della versione base perché funziona con più browser. Abbiamo potuto includere risultati per le versioni Metro di Chrome e Internet Explorer 10, ma anche di Maxthon e Sleipnir sia su Windows sia su OS X. Ora si possono provare anche i browser per iOS, e abbiamo incluso oltre a Safari anche Yahoo! Axis, Google Chrome, Dolphin, Mozilla Firefox e Maxthon. Nel caso di Android si perde la possibilità di testare il browser predefinito, ma si recupera con Chrome e Opera Mobile – quest'ultimo non funziona con RoboHornet standard.