La Vérité derrière les Scores de Benchmarks

Comment tout a commencé

Hier encore, un score supposé du Xiaomi Mi3 sous Snapdragon S800 fuitait. Très vite des commentaires concernant ce fameux “bas score” ont fusé, par la suite, d’autres théories sont venus s’y attacher pour expliquer le phénomène.
Tricher dans les Benchmarks est quelque chose qui est devenu commun dans le monde PC. Nous espérions juste que cela ne vienne pas si vite et sur une telle échelle dans le monde Android. Samsung a été le premier coupable découvert avec le Galaxy S4 via un post sur Beyond3D par @AndreF.

6 mois plus tard, Samsung encore, avec le Galaxy Note 3, récidive. Cette fois-ci, c’est Arstechnica qui découvre le pot aux roses.

Samsung a été au centre du débat sous le feu des projecteurs, mais quand est-il des autres constructeurs ?

1) La réelle situation actuelle :

Il y a 2 manières de triche découvertes (il en existe possiblement d’autres) :
– les puces Samsung Exynos 5410 (4x Cortex A15 et 4x Cortex A7) augmentent la limite de température lorsqu’un Benchmark est détecté afin que le SoC sur-performe
– les puces Qualcomm sont programmés pour tourner à fond sur toute la durée d’un benchmark.

Anandtech a réalisé un travail titanesque en remontant jusqu’au Nexus 4 (fin 2012) jusqu’au Galaxy Note 3 et Note 10.1. Ils révèlent aussi, via leurs relations avec les OEMs, que cela dure depuis au moins 2 ans. Si ARM et Samsung sont les principaux acteurs, Intel a su rentrer de plein pied dans la danse en amenant tout son savoir-faire et son expérience du monde PC.

Voici un tableau récapitulatif d’Anandtech.

Il semblerait qu’il n’y ait que Google et la console portable de nVidia qui soient propres.

2) Pourquoi est-ce tricher ?

Les derniers Exynos n’équipent pas de terminaux que cela. Une minorité des Galaxy S4 et Note 3 ainsi que le Meizu MX3. Par contre, la pratique d’augmenter les limites de température spécifiquement est clairement de la triche puisqu’en situation réelle, même lorsque la demande en ressources est importante, jamais le SoC ne pourra atteindre ces scores puisque la limite est plus basse.

Par contre, les puces Qualcomm constituent la référence lorsqu’il s’agit du marché haut de gamme. Si certains disent qu’il ne s’agisse pas de triche parce ces puces ne font “qu’aller à leur vitesse maximale” telles les S800 tournant constamment à 2.3 GHz sur un benchmark, ces mêmes personnes se tromperaient allègrement.

Les puces sont fabriquées avec des limites de sécurité (en général assez large, il existe des variations de stabilité dans un même processus de fabrication) concernant la chauffe, la chauffe dans une structure donnée (smartphone, tablette ou autres appareils connectés) mais aussi l’impact sur le reste de l’appareil telle que la batterie qui voit sa durée de vie totale raccourcir sur des utilisations aussi intenses.

Dans des conditions normales d’utilisation, même pendant une session de jeu intense, les SoCs baissent en cadence pour respecter les limites données de sécurité ou d’utilisation. Jamais ces SoCs ne préformeront de la même manière que dans les benchmarks où il s’agit clairement d’une utilisation faussée des puces.

Voici un exemple illustré de ce dont nous parlons.

Concernant Xiaomi, nous ferons une démonstration sur le tweaking ou non du Mi3 dans notre Test Vidéo qui paraîtra dans la journée. 

Conclusion

Pour le moment, sauf pour les puces Exynos, c’est surtout le CPU qui a été boostée, du moins détectable. GFXBench qui constitue la référence en matière de GPU a réussi à s’accorder avec les constructeurs pour une utilisation propre de la plateforme grâce à ses relations avec les acteurs (qui payent une licence d’utilisation) et à une bonne éthique de travail. Par contre, si Kishonti nous paraît tout à fait respectable, rien n’est donné concernant le comportement des constructeurs.

Cela nous inquiète puisque le GPU vient aussi à être touché maintenant. On le voit sur Basemark X qui comprend une lourde partie GPU.

Le boost de 10% en Off-screen est une claire optimisation artificielle ciblée aux Benchmarks.

La tendance à fausser les chiffres, si l’on se base sur l’expérience PC, ne fait que commencer et va certainement empirer. Trop peu de gens en parlent et les moyens de détection ne sont pas optimaux, donc les constructeurs vont certainement continuer à pousser le bouchon bien plus loin vu le désintérêt de la scène publique. Parmi ceux qui ne jurent que par les Benchmarks, notamment Antutu, jamais une voix s’élève pour éclaircir quelque peu la situation. Pour preuve, le dernier leak d’Antutu du Mi3 sous Snapdragon S800.

Il faut réellement que chacun prenne un peu de recul sur les scores bruts affichés avant d’arriver à des conclusions, voire pire encore, à des théories derrière des résultats faux. Si certains Benchs ne sont pas touchés, il n’est pas dit de quoi demain sera fait.

Ne jamais sous-estimer la capacité des constructeurs à trouver de nouveaux moyens de triche.

Restez connectés sur PhonAsia pour plus d’informations et les résultats du Xiaomi Mi3 sous Tegra 4.

Advertisements

About kilianlee
Je suis un grand enthousiaste de la tech chinoise. En spécialiste du hardware, je me suis très vite équipé de la gamme des smartphones Xiaomi et Meizu pour le meilleur rapport Performance/Qualité/Prix.

One Response to La Vérité derrière les Scores de Benchmarks

  1. Pingback: Xiaomi Mi3 Tegra 4 : Test Complet | PhonAsia

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s

%d bloggers like this: