SYSmark 2012, AMD attacca: non serve a niente

AMD ha annunciato che non sosterrà più il benchmark SYSmark 2012 (SM2012), pubblicato dal consorzio BAPCo (Business Applications Performance Corporation). Contestualmente, AMD ha deciso di uscire da BAPCo - di cui fanno parte ARCIntuition, Dell, Hewlett-Packard, Hitachi, Intel, Lenovo, Microsoft, Samsung, Seagate, Sony, Toshiba e altri.

"La tecnologia si evolve a una velocità incredibile, e gli utenti hanno bisogno di misurazioni chiare e affidabili per comprendere le prestazioni attese e il valore dei propri sistemi", ha affermato Nigel Dessau, vicepresidente senior e capo del marketing di AMD. "AMD non crede che SM2012 raggiunga tale obiettivo. Per questo motivo AMD non può sostenere o supportare SM2012 e continuare a far parte del consorzio BAPCo".

"AMD offrirà il suo appoggio solamente a benchmark basati su applicazioni software e modelli di calcolo realistici, in grado di fornire informazioni utili e rilevanti. AMD crede che i benchmark debbano essere realizzati per offrire risultati imparziali e trasparenti ai clienti che intendono prendere delle decisioni basandosi sui valori ottenuti. In questo momento AMD sta valutando altre alternative, tra cui la possibilità di sostenere la creazione di un consorzio di settore per realizzare un benchmark open in grado di misurare le prestazioni complessive di un sistema".

Tutto qui? No, perché dietro a questa decisione c'è molto di più, diversi retroscena che Nigel Dessau racconta sul blog dell'azienda. In sostanza AMD si lamenta principalmente di una cosa: il nuovo benchmark non mette in risalto le prestazioni della GPU e, di conseguenza, delle nuove APU (APU AMD A8-3500M, ecco a voi Llano).

"Nell'ultimo anno, con trasparenza, abbiamo cercato di spiegare perché crediamo che questo benchmark sia fuorviante rispetto alle applicazioni usate comunemente - un anno fa ho pubblicato un post su questo tema. Se si lavora per un'azienda che crede nella trasparenza e nell'integrità, allora si deve prendere una posizione e parlare quando qualcosa non va".

"La risposta di BAPCo al mio post è stata la minaccia di espellere AMD dal consorzio. Il cuore delle nostre rimostranze è il seguente: il benchmark SYSmark non solo è costituito da carichi di lavoro non rappresentativi (che ignorano l'importanza del calcolo eterogeneo e, francamente, favoriscono le soluzioni del nostro avversario), ma genera risultati ingannevoli che possono portare ad acquisti sbagliati, portando i governi di tutto il mondo a spendere storicamente molto di più, qualcosa come 8 miliardi di dollari. Ora iniziate a capire perché tutto questo è importante - presumo che anche voi paghiate le tasse".

AMD, nonostante il post dell'anno scorso e le scaramucce con il consorzio, ha comunque continuato a "lavorare all'interno di BAPCo per provare ad avere un benchmark di prossima generazione, SYSmark 2012, perfezionato. La nostra speranza di era quella di provocare un cambiamento in modo da renderlo aperto, trasparente e neutrale dal punto di vista del processore".

"Sfortunatamente le nostre buone intenzioni sono state disattese e crediamo che il benchmark provochi un disservizio all'industria e ai nostri utenti. Non siamo stati in grado di apportare un cambiamento positivo in BAPCo e il risultato è che il benchmark continua a distorcere le prestazioni con i carichi di lavoro e a offrire persino meno trasparenza agli utenti finali. Ancora una volta BAPCo ha scelto di ignorare l'opportunità di promuovere l'apertura e la trasparenza".

"SM2012 è pubblicizzato per offrire risultati usando 18 applicazioni e 390 misurazioni, ma la realtà è che solo sette applicazioni e meno del 10 percento delle misure totali dominano il punteggio generale. Quindi una piccola classe di operazioni influenza il punteggio finale".

Secondo AMD gran parte del punteggio è basato sulle prestazioni del sistema durante le operazioni di optical character recognition (OCR) e di compressione file, attività che l'utente medio svolge raramente. Il cuore del problema è che SM2012, secondo AMD, non riflette la potenza della GPU. "I punteggi non tengono conto delle applicazioni accelerate dalla GPU che sono ampiamente usate negli ambienti business".

Da qui la decisione di uscire dal consorzio. AMD ritiene che SYSmark 2012 non rispecchi i trend di questo e dei prossimi anni, come l'accelerazione via GPU e l'arrivo di HTML5.

In seguito a queste dichiarazioni, è emerso che anche Nvidia non fa più parte del consorzio. Si vocifera che anche VIA Technologies ne sia uscita, ma non ci sono conferme al momento. È evidente che c'è un problema, e senza andare troppo per il sottile ci sembra di capire dalle dichiarazioni di AMD che abbia anche un nome: Intel. 

La casa di Santa Clara non si è ancora espressa in merito, ma se i principali rivali hanno abbandonato il consorzio si può ipotizzare che all'origine di questa situazione ci sia un problema di peso all'interno dell'organizzazione e di ottimizzazione del benchmark.

La risposta di BAPCo non si è fatta attendere e chiaramente è in completa antitesi rispetto alle affermazioni della casa di Sunnyvale. "Le applicazioni usate in SYSmark 2012 sono state selezionate basandoci su ricerche di mercato e includono Microsoft Office, Adobe Creative Suite, Adobe Acrobat, WinZip, Autodesk AutoCAD, 3ds Max e altri software".

"AMD era, fino a poco tempo fa, un membro di lunga data di BAPCo. Abbiamo apprezzato la totale partecipazione di AMD ai due anni di sviluppo di SYSMark 2012, il ruolo centrale dell'azienda nel creare il processo di sviluppo che BAPCo usa oggi e nel fornire esperti per lo sviluppo di carichi di lavoro. Ogni membro in BAPCo ha un singolo voto su ogni proposta fatta dalle aziende che ne fanno parte. AMD ha votato in supporto di oltre l'80% delle tappe di sviluppo fondamentali di SYSmark 2012, e BAPCo ha supportato le proposte per SYSmark 2012 portate dall'azienda davanti al consorzio nel 100% dei casi".

"BAPCo fa inoltre notare per la cronaca, che contrariamente alle false affermazioni di AMD, BAPCo non ha mai minacciato di espellerla dal consorzio, nonostante precedenti violazioni dei suoi obblighi verso BAPCo in virtù dell'accordo che ne sanciva lo status di membro".

"BAPCo è delusa dal fatto che un ex membro del consorzio abbia scelto ancora una volta di violare l'accordo di riservatezza che ha firmato, nel tentativo di dissuadere i clienti dall'usare SYSmark per valutare le prestazioni dei loro sistemi. BAPCo ritiene che le rilevazioni di ognuno dei sei scenari di SYSmark 2012, che si basano sulle ricerche dei suoi membri, riflettano onestamente le prestazioni che gli utenti vedranno sfruttando appieno le applicazioni incluse".