La testata EETimes ha messo ben in chiaro, attraverso una completa news (ripresa dal sito inglese The Register), il perché Bay Trail fosse così veloce con la suite di benchmark AnTuTu 3.3, tanto da detronizzare il SoC ARM più veloce, il Qualcomm Snapdragon 800.
Il giornalista Jim McGregor afferma: “Going from the 2.9.3 version of the AnTuTu benchmark to the 3.3 version, the overall AnTuTu scores increased 122 percent, and the RAM score increased 292 percent for the Intel processor, while the scores for the Samsung processor increased only 59 percent and 53 percent, respectively. This was just from a change in the benchmark test, not the processors”.
A quanto pare nella suite versione 3.3 è stato utilizzato l'Intel C++ Compiler (ICC) per la parte del codice x86, e questo ha determinato delle modifiche non di poco conto in vari test. Il compilatore Intel ha di fatto saltato/eliminato alcuni test in loop giudicati superflui, determinando così un più veloce completamento del benchmark.
Con la versione 3.3.2 di AnTuTu la situazione si è leggermente riappianata, in quanto è stato sistemato il sistema di benchmarking buggato, così da far effettuare ai SoC Intel effettivamente ogni test al completo, con tutto quello che ne consegue: “As a result of the revised scores, the AnTuTu benchmark is no longer an outlier from the other benchmarks and paints a competitive picture similar to the other benchmarks, with the Samsung Exynos 5 Octa processor outperforming the Intel Atom Z2580 processor”.
V'è però da notificare che per il momento AnTuTu per architettura x86 è ancora scritto ed ottimizzato con l'ICC, mentre per i SoC ARM è scritto in GCC (GNU Compiler Collection), rendendo di fatto il confronto ancora problematico: possono i risultati essere effettivamente confrontabili?
Considerando che GCC è utilizzato per le maggiori distribuzioni GNU/Linux, come ad esempio Ubuntu, sarebbe auspicabile la riscrittura del test completamente con questo. Sia in linea teorica sia in linea pratica sarebbe fattibilissimo.
Per il momento, quindi, questi benchmark sintetici sono da prendere con le pinze, più di quanto non accada nel settore PC. Almeno in quest'ultimo settore oltre ai benchmark sintetici esistono anche benchmark derivati da applicazioni reali con cui realizzare un confronto più equilibrato.