Il così detto AnTuTu-Gate è scoppiato all'improvviso, e non ci ha messo molto a fare il giro del mondo. Quando l'editorialista di EETimes, Jim McGragor, ha scoperto che le prestazioni elevatissime dei SoC Intel erano dovute ad un trick causato dal compilatore della stessa casa di Santa Clara, nei forum non sono mancate frecciatine più o meno pesanti ai due protagonisti di questo avvenimento: AnTuTu Labs ed Intel.
Per fare luce su questa gaffe abbiamo deciso di contattare AnTuTu Labs, e Jerry XIA, Market Manager dello studio software, ci ha gentilmente concesso un'intervista. Come avrete modo di leggere, AnTuTu V3 ha fatto uso del compilatore Intel, e così farà anche la V4. Questo significa che i risultati del benchmark non saranno comparabili tra SoC Intel e SoC ARM, e lo conferma anche XIA, in quanto verranno testati differenti aspetti. Lo stesso, quindi, potrebbe accadere anche con gli altri benchmark sintetici disponibili per Android. Per questo motivo i confronti che attualmente sono stati compiuti tra SoC ARM ed SoC Intel sono probabilmente del tutto fallaci, se sono stati utilizzati solamente dei benchmark sintetici, e quindi privi di significato. Sarebbero da utilizzare applicazioni reali, come i videogiochi.
L'unico confronto reale possibile è quello relativo all'autonomia, ma anche in questo caso la situazione non è semplicissima. Se viene valutato solo il consumo del SoC, bisogna considerare quello che il SoC integra. I SoC Atom, per il momento, integrano poco o nulla, a parte la iGPU, mentre i SoC Snapdragon 600 o 800 di Qualcomm, per fare un esempio, integrano il Wi-Fi, il BT, la Radio-FM, il GPS/Glonass, e molto altro. Bisogna, anche in questo caso, andarci con i piedi di piombo: come è stata effettuata la comparazione?
Non meno importante, XIA afferma che attualmente possedere un SoC Duaol Core o Quad Core non cambia la vita, in quanto tutte le applicazioni per smartphone e tablet sono single thread. Ad inizio 2012 Sony decise di puntare sui SoC Dual Core per i propri modelli di punta, ma le poderose campagne di marketing portate avanti da Samsung & Co. fecero presto cambiare idea alla casa giapponese: l'utenza meno smaliziata si è bevuta in questi mesi una campagna pubblicitaria basata sui numeri bruti, al pari della corsa ai GHz ai tempi dei Pentium 4, tagliando di fatto le gambe a terminali forse più equilibrati. La cosa simpatica è che adesso Intel si trova nella situazione di dover inseguire questa moda, proponendo SoC Atom con sempre più core, nonostante non ve ne sia il reale bisogno.
Da questa intervista, in conclusione, traspare come gli articoli di confronto tra i diversi SoC siano da prendere con le pinze, e che l'utente deve trasformarsi in un novello investigatore, così da scoprire se quanto sta leggendo sia privo di artifici o meno: i reparti marketing delle grandi case sono sempre in agguato. Martedì 13 agosto, comunque, sarà resa disponibile la V4 di AnTuTu Benchmark, e noi saremo pronti a recensirla: stay tuned!
B&C: Ciao Jerry, prima di tutto grazie per questa intervista. Potresti spiegare ai nostri lettori quale posizione ricopri e le tue mansioni presso AnTuTu Labs?
Jerry XIA: Grazie a te, Gian Maria. Ricopro il ruolo di Market Manager presso AnTuTu. Sono la figura che si occupa di mantenere i contatti con le compagnie come ARM, Qualcomm, ecc.
B&C: AnTuTu è un benchmark molto conosciuto per smartphone e tablet, ed è utilizzato in molte recensioni e da importanti siti IT. Possiamo dire che AnTuTu è il benchmark di riferimento in questo ambiente. Quando Jim McGragor pubblicò questo articolo, cosa avete pensato?
Jerry XIA: AnTuTu Benchmark ha oltre 5 milioni di download sul Google Play, ed ha oltre 80 milioni di utilizzatori nel mondo. Sono sicuro che AnTuTu sia superiore agli altri benchmark disponibili sul market di Google. Riguardo la questione sulla diatriba ARM-Intel, ammetto che è stato un nostro errore. Per questo stiamo lavorando per migliorare. Nessuna applicazione è perfetta, incluso AnTuTu Benchmark. Possediamo la determinazione e le competenze per rendere maggiormente affidabile AnTuTu Benchmark.
B&C: Adesso sappiamo che il problema di AnTuTu 3.3 era legato all'utilizzo dell'Intel C++ Compiler (ICC), e che il problema è stato risolto con la release 3.3.2. Come è potuto accadere? La differenza tra i risultati non è certamente piccola.
Jerry XIA: Abbiamo migliorato i nostri modelli di riferimento, ed abbiamo applicato delle correzioni ai precedenti compilatori ed agli algoritmi. Non sono un ingegnere, quindi non possono scendere più nello specifico. AnTuTu v4 utilizzerà dei nuovi modelli, i quali saranno diversi rispetto alle versioni 2 e 3 di AnTuTu. I risultati della v4 non saranno quindi paragonabili con quelli delle versioni v2 e v3.
B&C: Adesso sappiamo anche che AnTuTu è scritto utilizzando due diversi compilatori: GCC (GNU Compiler Collection) e ICC (Intel C++ Compiler). Perché non avete utilizzato solo il GCC? Ubuntu, ad esempio, è compilato con GCC.
Jerry XIA: Abbiamo tenuto conto di tutti gli aspetti per i test di benchmark, e secondo noi due compilatori possono rivelare differenti aspetti nei test in maniera più accurata.
B&C: Qui scrivete che la release 4 di AnTuTu sarà “a return from ultimate hardware performance to user experience”. Puoi dirci qualcosa a riguardo?
Jerry XIA: Abbiamo aggiunto un maggior numero di test nella versione 4, come un test sulle Performance relative alle Applicazioni (incluso un test sulla macchina virtuale Dalvik). Come sapete, quasi tutte le applicazioni Android contengono del codice di Dalvik scritto in Java, e l'85% delle applicazioni utilizzano solamente il codice Dalvik. Così le prestazioni relative alla macchina virtuale Dalvik sono di grande importanza per l'utente finale. Inoltre la qualità dell'utilizzo dei thread sarà molto importante nella versione 4 di AnTuTu, mentre il numero dei core lo sarà meno. Il test relativo al Multitask sarà molto importante in AnTuTu 4. Per esempio, molte applicazioni utilizzano solamente un core. E' indubbio che avrai un'esperienza migliore quando utilizzi queste applicazioni con un SoC Dual Core di fascia alta che non su un SoC Quad Core di fascia bassa. E' per questo che il Nexus 10 (che possiede un eccellente SoC Dual Core) consegue un punteggio più alto rispetto al Galaxy S3 nei test multitask di AnTuTu 4.
B&C: Potresti dirci quali tipi di test esegue AnTuTu? Durante lo sviluppo di AnTuTu avete utilizzato dei tool e librerie preesistenti, o ne avete create di vostre ex-novo?
Jerry XIA: Se hai seguito lo sviluppo delle applicazioni di benchmark Mobile in generale, saprai che AnTuTu Benchmark è l'unica app al mondo che esegue test in grado di impegnare SoC dual core, quad core e octa core (nella versione 4). La maggior parte degli algoritmi presenti in AnTuTu sono sviluppati internamente, poiché analizziamo aspetti differenti rispetto ai nostri competitor. Probabilmente AnTuTu non è il benchmark più professionale, ma i nostri test sono studiati sull'esperienza dell'utente. Sappiamo cosa gli utenti vogliono conoscere.
B&C: 04/03/2013: “3DMark for Android is just a gaudy joke. We do not think it can test the real performance of GPU. It is more like an app made by Qualcomm” (Link). Futuremark è una grossa compagnia, presente nel mondo dei benchmark fin dal 1997. Adesso sta sviluppando software di benchmark per dispositivi mobile: davvero non siete preoccupati di ciò?
Jerry XIA: 3DMark ha un notevole numero di utilizzatori nel mondo, ed è famoso tra i software di benchmark per PC. Eppure si dovrebbe sapere che, a causa delle dimensioni dello schermo e della limitata bandwidth dei dispositivi mobile, alcuni aspetti che vediamo nelle scene elaborate, come il numero di vertici, l'accuratezza computazionale e la complessità della scena, devono essere diversi rispetto a quelli considerati per il PC. Copiare i test di benchmark dai PC ai dispositivi Mobile non permette di rivelarne le reali prestazioni. Consideriamo il 3DMark sia come concorrente, sia come amico. Ci sono alcune cose che dobbiamo imparare da loro. Ma è anche vero che li abbiamo superati in alcuni aspetti. 3DMark deve fare ancora molta strada prima entrare (come protagonista, ndr) nel mercato dei benchmark per Android.
B&C: Futuremark, in passato, ha offerto in buindle il proprio software. Ad esempio, con questo set di ram di fascia alta. Potreste fare qualcosa di simile con qualche smartphone di fascia alta?
Jerry XIA: AnTuTu Benchmark permette di verificare le reali prestazioni degli smartphone di fascia alta, come il Samsung Galaxy S4 (Octa-core). Non vi è bisogno di una versione speciale per questi dispositivi. D'altra parte abbiamo un'applicazione di test professionale, dedicata soprattutto ai produttori e ai fornitori di hardware: AnTuTu Test Suite. Questa applicazione ha un maggior numero di funzioni professionali che possono verificare le prestazioni in certi ambiti, come ad esempio il carico della CPU. Poiché molti di questi dati non avrebbero alcun significato per gli utenti comuni, abbiamo utilizzato solo una parte delle funzioni della Test Suite per AnTuTu Benchmark V4. In generale, AnTuTu Benchmark non ha una propria versione Andvance o Pro, dedicata in particolare agli smartphone di fascia alta su Google Play, come invece accade per il 3DMark, ma abbiamo AnTuTu Test Suite, la quale è superiore alle altre applicazioni di benchmark.
B&C: AnTuTu, giorno dopo giorno, ha un numero sempre maggiore di avversari. Avete in mente qualche allenaza con qualche grande compagnia, come Samsung, Motorola o Asus per mantenere la leadership? Asus, in particolare, ha una notevole esperienza nel mondo dei benchmark per PC.
Jerry XIA: Attualmente, il nostro team ha oltre 10 anni di esperienza nello sviluppare software sotto Windows (dal 1998). Abbiamo sviluppato numerose utility per Windows, inclusi dei software di benchmark per Windows. Per questo noi crediamo di possedere le competenze per sviluppare un'ottima app di benchmark per Android senza temere il confronto con nessuno. Noi abbiamo contatti con gli assemblatori e con i produttori di hardware, e speriamo che con questi ci sia più cooperazione in futuro. Essi ci possono fornire il supporto per nuove tecnologie, mentre noi saremo in grado di informarli sulle esigenze degli utenti.
B&C: In questa intervista Tamás Miklós, Lead Developer di AIDA64, ha affermato che la documentazione offerta agli sviluppatori è inadeguata nell'industria dei PC (e noi di B&C concordiamo su questo). Voi avete il medesimo problema nell'industria Mobile? ARM e Qualcomm supportano attivamente la community di sviluppatori. Intel e nVidia fanno lo stesso?
Jerry XIA: Sì, abbiamo lo stesso problema anche nell'industria Mobile. Dobbiamo sviluppare alcuni tool di test da noi stessi. Cercheremo di tenerci in contatto con tutti i produttori di hardware, come ARM, Qualcomm, Intel e nVidia per migliorare AnTuTu Benchmark.
B&C: AMD entrerà nel mercato dei SoC Mobile a breve. Che tipo di compilatore userete per i suoi SoC, nel caso? Cosa ne pensi dei prodotti di AMD per i Tablet?
Jerry XIA: Non abbiamo contatti con AMD. Quindi non conosco i dettagli. I Tablet stanno diventando sempre più popolari. Sarei felice di vedere AMD migliorare la propria posizione in tale mercato. Sarebbe ottimo per gli utenti.
B&C: Cosa ne pensi di Windows RT e dei tablet Surface? E' un prodotto ormai morto, o no?
Jerry XIA: Nonostante Windows RT e i Tablet Surface stiano conseguendo dei risultati mediocri sul mercato, penso comunque che non siano dei prodotti finiti almeno finché Microsoft sarà disposta ad investire nel loro sviluppo. In ogni caso, Microsoft ha molti anni di esperienza nello sviluppo di sistemi. Ha le competenze per realizzare dei buoni prodotti.
B&C: Secondo te, i SoC ARM hanno delle buone possibilità di equipaggiare Notebook o PC Desktop in futuro?
Jerry XIA: ARM è famosa per la propria efficienza, per i bassi consumi e per il rapporto qualità/prezzo. Potrebbe essere una buona scelta per equipaggiare alcuni Notebook in futuro.
B&C: Grazie Jerry, è stato un piacere parlare con te.
Jerry XIA: Grazie a voi, Bits And Chips. Sentitevi liberi di contattami se vorrete conoscere altre cose.
B&C: Hi Jerry, first of all, thank you for this interview. Can you explain to our readers what your position and roles are at AnTuTu Labs?
Jerry XIA: Thank you, Gian Maria. I am Market Manager of AnTuTu. I am mainly responsible for contacts with overseas companies, such as ARM, Qualcomm, etc.
B&C: AnTuTu is a very popular benchmark for smartphone and tablet, and it's used by reviewers and famous IT sites, like Anandtech. We can say that AnTuTu is a reference in the benchmark world. When Jim McGregor posted this article, what did you think?
JX: AnTuTu Benchmark has over 5 million downloads on Google Play, and it has over 80 million users around the world. I am very confident that AnTuTu Benchmark has surpassed other benchmark apps through Google search results. As for the disputation of ARM beat Intel, I admit this is our mistake. That's why we perfect it. No app is perfect, including AnTuTu Benchmark. We have the determination and ability to make AnTuTu Benchmark more accurate.
B&C: Now we know that the problem of AnTuTu 3.3 was the Intel C++ Compiler (ICC), and the problem was fixed with the release 3.3.2. How could it happen? The difference between the results of the two version is not tiny.
JX: We have improved our standard, and made corrections to the previous compliers as well as algorithm. I am not an engineer, so I am afraid I can not explain this to you in details. AnTuTu V4 will apply a new standard. This standard will be very different from V2 or V3. Scores from V4 can not compare with the scores tested on V2 or V3 (such as AnTuTu 3.3.2).
B&C: Also we know that AnTuTu is written with two compiler: GCC (GNU Compiler Collection) and ICC (Intel C++ Compiler). Why didn't you use only GCC? E.g., Ubuntu is compiled by GCC.
JX: We have to take all aspects into consideration in benchmark test, i.e., 2 compliers can reveal different aspects in performance test better.
B&C: Here you write that the release 4 of AnTuTu will be “a return from ultimate hardware performance to user experience”. Can you disclose something to us?
JX: We have added more test projects in V4, such as Application Performance (including Dalvik virtual machine performance test) test. You know, naerly all Android apps contain Java-like Dalvik code, and 85% apps use only Dalvik code. So the performance of Dalvik virtual machine is of great importance to user experience. Also the working quality of thread will be very important in V4 while core number will be less important. Multitask test is an important test project in V4. For example, most apps use only one core. It is no doubt that you can have a better user experience when use these apps on a high-end dual-core CPU device than a low-end quad-core device. That's why Nexus 10 (has an excellent dual-core device) can get a higher score than Galaxy S3 in V4 multitask test.
B&C: Can you tell us what kind of test AnTuTu accomplish? In the developing of AnTuTu did you utilize preexisting tools or libraries set or did you create ones of your own?
JX: Actually, if you have notice the development of benchmarking apps, you will find that AnTuTu Benchmark is the first benchmark app in the world who supports dual-core test, quad-core test as well as octa-core test (in V4). Most algorithm in AnTuTu Benchmark are developed by ourselves, because we have different standard with our competitors. Maybe AnTuTu Benchmark is not the most professional one, but our standard is designed for users. We know what users want to see.
B&C: 04/03/2013: “3DMark for Android is just a gaudy joke. We do not think it can test the real performance of GPU. It is more like an app made by Qualcomm” (Link). Futuremark is a big company, present in the benchmark world since 1997. Now it is developing benchmark software for mobile devices: aren't you worried about this?
JX: 3DMark has a large user group around the world, and it is famous for its PC benchmarking software. But we should know that because of the screen size and bandwidth limitation of mobile devices, some aspects in the scene specification, such as vertex number, computation accuracy and complexity, are different from PCs’. Copying the benchmarking tests of PC to mobile devices are obvious unable to reveal the real performance. We take 3DMark as either a competitor or friend. We have something need to learn from them. Also we have surpassed them in many aspects. 3DMark still got a long way to come in Android benchmark market.
B&C: Futuremark, in the past, bundled its own software: e.g. 3DMark Vantage was bundled with these sticks of high-end RAM.Could you do the same with some high-end smarphones?
JX: AnTuTu Benchmark has the ability to test the real performance of high-end smartphones, such as Samsung Galaxy S4 (Octa-core). It needn't a special version for these devices. Besides, we do have a professional test app especially for manufacturers and hardware suppliers: AnTuTu Test Suite. This app has more professional functions which can test specific performance, such as CPU load. Since some of these data have no meaning to common users, we only applied part of the functions of Test Suite to AnTuTu Benchmark V4. Generally speaking, AnTuTu Benchmark does not have corresponding advance or pro version especially for high-end smartphones on Google Play like 3DMark, but we have AnTuTu Test Suite which is beyond other benchmark apps.
B&C: AnTuTu, day after day, has more and more competitors. Do you have in mind some alliance with the big companies, like Samsung or Motorola or Asus? Asus, in particular, has a lot of experience with the benchmarks in the PC area.
JX: Actually, our team has over 10 years of development experience on Windows (since 1998). We have developed lots of utilities for Windows, including benchmarking software for Windows. So we believe we have the ability to develop Android benchmarking app well and yields to none. We do have connections with manufacturers as well as hardware producers, and we welcome more coorperations in the future. They can provide us the support of new technologies and we can tell them the trend of users' requirements.
B&C: In this interview, Tamás Miklós, Lead Developer of AIDA64, says that the documentation for the developers is inadequate in the PC industry (and we agree with him). Do you have the same problem in the Mobile industry? ARM and Qualcomm support effectively the development community. Do Intel and nVidia the same?
JX: Yes, we have the same problem in Mobile industry. We have to develop some tools to do tests by ourselves. We will keep in touch with all the hardware suppliers, such as ARM, Qualcomm, Intel and nVidia for creat a fair AnTuTu Benchmark.
B&C: AMD will be in the Mobile SoC market soon. What kind of compiler will you use for these SoCs in case? What do you think about AMD tablet products?
JX: We haven't contact with AMD. So I do not know the details. Tablet is becoming more and more popular. I will be glad to see AMD can achieve a lot in tablet market. It is good for users anyway.
B&C: What do you think about Windows RT and the Surface Tablet? Is it a dead product or not?
JX: Though Windows RT and Surface Tablet performed poor on the market, I think it is not a dead product as long as Microsoft willing to invest more in system development. In any case, Microsoft has many years of system development experience. It has the ability to make good products.
B&C: In your opinion, the ARM SoCs could be in future a good choice to equip notebooks or desktops PC?
JX: ARM is famous for its efficiency, energy conservation as well as cost effective. It may be a good choice to equip notebooks in the future.
B&C: Thank you Jerry, it has been a pleasure talking with you.
JX: Thank you, Gian Maria. Please feel free to contact me if there are something more you want to know.