Tidigare i år rapporterades det att Samsung anpassat flera av sina mobila enheter för att köras i högre klockfrekvenser när det testas i benchmarkprogram. Efter utförligare tester visar det sig nu att Samsung är långt ifrån ensamma om detta och att majoriteten av konkurrenterna fifflar med benchmarks.
Benchmarks på mobiltelefoner och surfplattor är i sig en klurig fråga i mån av hur representativa och träffsäkra de kan vara. När en enhet recenseras är man ute efter att ge någon form av riktlinje för vilken prestanda man som kund kan förvänta sig från sin enhet, något som försvåras av att programmen i fråga ofta riktar in sig på ett programmeringssätt och en typ av belastning.
För att ge en mer verklighetstrogen bild är det därför alltid bäst att köra flera olika benchmarks av olika typer som tillsammans ger en mer noggrann helhetsbild, en en standardmetod för alla produkttyper som prestandatestas. Men det blir desto svårare att försöka ge en bra representation om tillverkarna i fråga väljer att optimera sina enheter specifikt för prestandatesterna, och där ge dem högre klockfrekvenser eller snabbare uppvarvning än vad de klarar av i andra scenarion.
Galaxy S4 i strålkastarljuset
Det var för detta Samsung hamnade i blåsväder tidigare i år när det framkom att de i Exynos 5410-versionen av Galaxy S4 kunde känna av när ett prestandatest kördes, och då automatiskt öka temperatur- och strömförbrukningsmarginalerna samt ställa in spänningsnivåerna till maximal nivå redan i testets början. Det ledde till högre klockfrekvener än vad enheten annars klarade av, och även att enheten kunde samla in fler poäng genom att mer eller mindre hoppa över “uppvarvningskurvan” i början av ett prestandatest.
Just att hoppa direkt till de högsta spänningsnivåerna var även fallet på versionen av telefonen som använde sig av Snapdragon 600-processorn från Qualcomm, men du utan en ökad maximal klockfrekvens. Däremot har det nu också framkommit att den här typen av optimeringar sker på en stor mängd enheter från flera tillverkare.
Både HTC, LG och Asus följer samma bana
Bland de tillverkare som gjort just detta i sina enheter hittar vi bland annat HTC, LG och Asus, med olika processorer och i olika benchmarks. Anandtech har gjort en utförlig lista med vilka modeller som optimerats för vilka benchmarks, och de benchmarks som använts och där minst en enhet optimerats är 3dmark, Antutu, Andebench, Basemark X, Geekbench 3, Gfxbench 2.7 samt Vellamo.
Anandtech noterar även att de två tillverkare som testats och som de inte kunnat hitta någon sådan optimering på är Motorola och Apple, och inte heller för Nexus 4 respektive Nexus 7. En anledning kan vara att Apple designar både telefoner och operativsystem, Motorola är ett Google-ägt företag och Nexus-modellerna är tänkta som referensmodeller för Android-operativsystemet – med andra ord kan dessa modeller istället sikta på en mer utförlig optimering över hela systemet istället för att rikta in sig på enskilda benchmarks.
Ett val hos OEM snarare än kretstillverkare
Man har även varit i kontakt med exempelvis Intel om saken, som säger sig motsätta sig den här typen av optimeringar, en åsikt även delad av Qualcomm. Det antyder i sin tur att det är enhetstillverkarna som står för optimeringen och inte kretstillverkarna, och det skulle även förklara varför vissa telefoner med Qualcomm- eller Intel-processorer optimerats och andra inte.
Vi kommer följa den här utvecklingen ett tag framöver och se vad det blir för respons från aktörerna. Den här typen av optimeringar, när de inte kan appliceras på hela systemet eller i verklig användning, försvårar möjligheten att göra benchmarks som ger en verklighetstrogen bild av enheterna mer än vad programmeringen av testerna i sig redan gör.
Anandtechs analys finns att läsa i sin helhet här.
Respekt till Motorola och Apple! Men hoppas o tror att även Nokia sköter sej på denna front!
Real world tester kan vara svåra att fuska i och får väl ses som den mest rättvisa och trovärdiga bedömning av övriga märken.