Testsystem och testmetod
Resultaten i den här artikeln är insamlade med våra fyra dedikerade CPU-testsystem. Förutom hårdvaran som sitter i våra testsystem är de även utrustade med en mängd testprogram som används för att bedöma processorns prestanda samt en wattmätare från Wattsup som mäter den effektförbrukning som sker i systemet för att detta sedan ska kunna jämföras med resultat från andra processorer eller klockfrekvenser.
Testsystem | |
---|---|
Moderkort | Intel LGA-1151: MSI Z270 Gaming Pro Carbon (Tester) och Asus Maximus IX Code (OC) Intel LGA-1150: Asus Z97-A Intel LGA-1155 – Asus Maximus VI Gene Intel LGA-2011-3: Asus X99 Deluxe Intel LGA-2011: ASUS P9X79 PRO Intel LGA-2011v3: Asus X99 Deluxe Intel LGA-2066: Asus Prime X299 Deluxe AMD AM4: MSI X370 Xpower Gaming Titanium (UEFI 1.26) AMD AM3+: Asrock 990FX Killer AMD FM2: Gigabyte G1.Sniper A88X |
Minne | Intel LGA-1151: Corisair Vengeance LPX 2x8GB DDR4-2133 @1,2V Intel LGA-2011-3: Corsair Vengeance LPX 4x4GB DDR4-2433 @1,2V Intel LGA-1150: Corsair Vengeance 2x8GB DDR4-2400 @1,65V Intel LGA-2011: Team Vulcan 4x4GB DDR4-2133 @1,65V AMD AM4: Geil Evo-X DDR4-2x8GB 3200 @ 1.35V AMD AM3+: Corsair Vengeance 2x8GB DDR3-1866 @1,65V AMD FM2: Corsair Vengeance 2x8GB DDR3-2133 @1,65V |
Lagring | Crucial M550 512GB |
Grafikkort | Asus Geforce GTX 1070 Strix Gaming |
Nätaggregat | Corsair HX1000i |
Kylare | AMD AM4: EKWB Predator 240 Övriga: Noctua NH-C14 |
Chassi | Cooler Master Lab |
Operativsystem | Windows 10 Pro |
Målet är att alla testsystem ska ha så homogen hårdvara som möjligt, så alla komponenter som är plattformsoberoende är samma för alla system. Alla testsystem använder digitala HX1000i-nätaggregat från Corsair, som även har bidragit med minnesmoduler för både DDR4 och DDR3. Crucial står för lagringen, i form av M550 512 GB, en per testsystem. Att samma lagring används är viktigt för att inte en eventuell överföringsflaskhals ska påverka resultaten.
Varje testsystem använder ett Geforce GTX 1070 Strix från Asus för de tester som inte involverar en eventuell integrerad grafikkrets. Vi använder ett modernt och kraftfullt grafikkort just för att grafikkretsen inte ska riskera att bli en flaskhals i de mer grafiktunga testerna.
Minneskonfiguration
Minnesmodulerna har behövt variera mellan plattformarna i viss mån, men de kriterier vi har haft när vi valt och konfigurerat minnet för respektive testsystem är följande:
- Alla system ska ha totalt 16 gigabyte arbetsminne.
- Varje processor ska köra den högsta minnesfrekvensen som det finns officiellt stöd för.
Tar vi AMD A10-7870K som exempel så har den två minneskanaler som klarar av DDR3-minne i upp till 2 133 megahertz. Med en modul per kanal innebär det dubbla moduler på 8 gigabyte styck som körs i den frekvensen. För Intel Core i7-6950X gäller istället fyra DDR4-kanaler, så här används fyra moduler på 4 gigabyte styck som körs i 2 400 megahertz.
Notera att flera minnesmoduler och moderkort ger stöd för att köra högre minneshastigheter än så, men det sker i så fall via överklockning. Den minnesfrekvens vi utgår ifrån är den som specificeras för minneskontrollern i processorn.
Prestandatester
En CPU skiljer sig från en GPU just i att den är så pass flexibel, och därför finns det också flera olika typer av belastningar och sysslor som är intressanta att testa. Vi har använt en utförlig testsvit med nästan 20 prestandatester för att få en så komplett bild som möjligt av hur en processor presterar i olika situationer. Här nedanför följer en komplett lista på alla prestandatester vi använder i Svenska CPU-guiden i nuläget.
CPU-centrerade tester
Test | Flertrådat | Klockfrekvens | Beskrivning |
---|---|---|---|
7-Zip | Ja | Standard 2,9 GHz | Komprimering och dekomprimering |
Adobe Media Encoder CC | Ja | Standard 2,9 GHz | Omkodning av videofil i 4K-upplösning |
Adobe Photoshop CC | Ja | Standard | Behandling av en stor bildfil (~20 MP) med applicering av filter. |
AIDA64 Engineer | Ja | Standard | Flera syntetiska tester som behandlar bland annat minneshastighet, minneslatens, kryptering och flyttalsuträkningar. |
Blender | Ja | Standard 2,9 GHz | 3D-modellering: rendering av ett referensprojekt. |
Cinebench | Tre tester: enkel- och flertrådat | Standard 2,9 GHz | Syntetiskt 3D-renderingstest. |
Euler3D | Två tester: enkel- och flertrådat | Standard 2,9 GHz | Syntetiskt 3D-renderingstest |
Handbrake | Ja | Standard 2,9 GHz | Omkodning av ett testklipp i 4K-upplösning till H.265-format |
JetStream | Nej | Standard 2,9 GHz | Stor testsvit med Javascript-tester |
PCMark 8 | Ja | Standard | Syntetisk testsvit med fokus på produktivitetstester. |
X264 Benchmark | Ja | Standard | Videokonvertering till H.264-format. |
Testerna i tabellen här ovanför lägger huvudsakligen sin belastning på själva CPU-kärnorna i processorn snarare än grafikkretsen. Det gör dem särskilt användbara för att jämföra CPU-arkitekturer och för att jämföra modeller som har integrerad grafik med modeller som inte har det.
Speltester
Test | API | Upplösning | Klockfrekvens |
---|---|---|---|
3DMark Fire Strike | DX11 | Standard 2,9 GHz |
|
3DMark Time Spy | DX12 | Standard 2,9 GHz |
|
Civilization VI | DX11/DX12 | 1 280 x 720 1 920 x 1 080 | Standard 2,9 GHz |
Grand Theft Auto V | DX11 | 1 280 x 720 1 920 x 1 080 | Standard 2,9 GHz |
Hitman | DX11/DX12 | 1 280 x 720 1 920 x 1 080 | Standard 2,9 GHz |
Middle-Earth: Shadow of Mordor | DX11 | 1 280 x 720 1 920 x 1 080 | Standard 2,9 GHz |
Rise of the Tomb Raider | DX11/DX12 | 1 280 x 720 1 920 x 1 080 | Standard 2,9 GHz |
Speltesterna fyller egentligen samma funktion som GPGPU-testerna, men med en lite mer praktisk infallsvinkel. Vi använder de här testerna dels för att ge siffror som är enklare att relatera till som konsument (ungefär hur hög bildfrekvens du kan vänta dig med integrerad respektive diskret grafik) och dels som ett verktyg för att ge en jämn belastning över hela systemet som inte nödvändigtvis pressar CPU-kärnorna till max.
Genomsnitt, minimum och 99:e percentilen
En vanlig metod för att analysera spelprestanda är att läsa ut två värden för varje spel: genomsnittlig bildfrekvens och minimum. Genomsnittet ger en bild av ungefär var prestandan kommer ligga merparten av tiden, mätt i bildrutor per sekund (fps). Minimum berättar i sin tur det sämsta värdet som systemet genererar under testrundan.
Hur lågt minimumvärdet är – och hur långt ifrån genomsnittet det ligger – används i regel som ett mått för hur stabil prestandan är, men den modellen har en del problem. Det räcker nämligen med att en enda bildruta tar särskilt lång tid att rendera för att resultatet ska se helt annorlunda ut. Minimumvärdet kan skilja sig markant mellan olika testrundor med samma hårdvara.
Därför använder vi numera istället värdet på den 99:e percentilen i våra speltester. Vad det innebär är att vi mäter och analyserar samtliga renderade bildrutor under hela testet, och sorterar dem efter renderingstid. Därefter räknar vi bort den hundradel av bildrutorna som tar längst tid att rendera, och därefter räknar vi ut ett nytt minimumvärde. När detta räknas om till fps får vi ett värde över vilket prestandan kommer ligga 99 procent av tiden.
Värdet på den 99:e percentilen säger mer om prestandans stabilitet än ett rent minimumvärde, och håller sig mer konstant mellan testrundor. Fördelen med att spara renderingstiden på samtliga bildrutor innebär även att vi kan utföra mer avancerade analyser i efterhand om vi önskar. Samtidigt ger inte 99:e percentilen hela bilden, men åtminstone en något mer sanningsnära bild om den generella prestandan.
Enkel- eller flertrådat
Vissa av våra tester kan använda alla av en processors tillgängliga trådar medan andra bara kan dra nytta av en. Det är viktigt att ha med båda dessa testtyper för att få en hel bild av hur processorn presterar; en processor med väldigt många trådar kanske är kraftfull vid en typ av syssla, men kan inte de individuella trådarna hänga med på egen hand kommer prestandan bli bristande vid andra sysslor som inte är lika väloptimerade för parallellism.
Att kunna skilja på tester för en eller flera trådar är även viktigt för att kunna undersöka hur många instruktioner per klockcykel (IPC) en processor eller arkitektur klarar av. När det är IPC för hela processorn som ska undersökas är det viktigt att alla processorns resurser kommer till nytta, varpå ett flertrådat test som Handbrake (videokonvertering) eller Euler3D (syntetisk 3D-rendering) kommer väl till pass. När vi istället vill gå in på djupet och granska hur mycket av prestandan som hänger på själva arkitekturen, när mängden kärnor inte längre är en faktor, så är det ett enkeltrådat test som Cinebench ST, Euler3D ST eller eller Mozilla Kraken vi vill ha.
Prestanda vid samma klockfrekvens
Som vi nämnde i stycket ovanför så är det i många fall intressant att undersöka en processors IPC, men man får inte en ordentlig bild av det värdet när olika processorer körs i olika klockfrekvenser. Olika arkitekturer klarar av olika mängd instruktioner per klockcykel, så om vi ska kunna jämföra processorer med olika arkitekturer mot varandra och kunna jämföra hur mycket prestanda du faktiskt får ut vid en given klockfrekvens måste vi först se till att processorerna körs i matchande frekvens så att vi kan stryka klockfrekvensen helt som variabel.
I vårt fall kör vi en uppsättning processorer i 2,9 gigahertz, som är en frekvens vald för att kunna nås av merparten av moderna processorer. Vi har dock inte testat alla processorer i den klockfrekvensen, av flera anledningar. Dels ger det ingen ny information att testa två processorer ur samma serie som endast skiljer sig till klockfrekvensen på det här sättet – det är i praktiken samma processor, och resultatet kommer bli identiskt. Det är först när andra specifikationer skiljer sig, såsom arkitektur, tillverkningsteknik, cacheminne eller mängd kärnor eller trådar, som det blir intressant att jämföra processorerna vid matchande klockfrekvens. Ett annat kriterium är att processorn har upplåst multiplikator för att det ens ska gå att justera frekvensen tillräckligt mycket.
Effektförbrukning
Strömförbrukning är en komplicerad aspekt av att testa processorer, då det inte finns något sätt att direkt mäta förbrukningen från enbart processorn. Istället mäter vi förbrukningen från hela systemet och håller så många komponenter som möjligt identiska mellan systemen för att i möjligaste mån se till att den skillnad i förbrukning som finns mellan systemen beror just på processorn och ingenting annat. I och med att olika moderkort hanterar sina spänningar olika kommer det alltid finnas en viss felmarginal, men genom att använda matchande nätaggregat, grafikkort, lagring och andra komponenter håller vi den felmarginalen så liten som möjligt.
Vad vi vill uppnå med effektförbrukningstesterna är dock att analysera inte bara hur mycket ström systemet konsumerar utan hur det gör det. För ändamålet använder vi digitala effektförbrukningsmätare från Watts Up som en gång i sekunden mäter och sparar värdet på effektförbrukningen. Den datan kan sedan användas till flera intressanta analyser.
Dels kan vi räkna ut ett genomsnitt på effektförbrukningen för en given uppgift – på så sätt får du en bild av hur mycket energi som faktiskt kommer gå åt om du kör ett system med en given processor en viss tid. Det är ett användbart värde för att väga förbrukningen hos olika processorer mot varandra när du undrar hur stort avtrycket på elräkningen kommer bli.
Effektivitet
Samtidigt som den genomsnittliga förbrukningen är ett användbart värde så ger det inte hela bilden av hur energieffektiv en processor är. Ta videokonvertering som ett exempel: en processor kanske har en 10 procent högre genomsnittlig effektförbrukning än en konkurrerande processor, men det innebär inte nödvändigtvis att den är mindre energieffektiv, då den kanske blir klar med samma konvertering på 20 procent kortare tid. Hur effektiv en processor är beror på hur mycket beräkningar du får ut ur en given mängd energi.
Genom att logga förbrukningen under hela prestandatestet kan vi räkna ut hur stor mängd energi i Joule som har förbrukats totalt under testtiden. Dividerar vi sedan det med arbetet som har utförts, räknat i bildrutor (konverterade bildrutor vid videokonvertering eller renderade bildrutor för spel) får vi ut ett jämförbart värde för energieffektivitet, mätt i Joule per bildruta.
Vi testar både effektförbrukning och effektivitet med både diskret och integrerad grafik (förutsatt att integrerad grafik finns, annars testar vi endast med diskret) med två olika belastningstyper: grafikrendering i spel och videokonvertering. Grafikrenderingen i spel är viktig för att det ger en blandad belastning av processorn, inte minst när integrerad grafik används. Videokonvertering, vilket vi kör i Handbrake, ringar i sin tur in endast CPU-delen av processorn genom att belasta alla trådar med en känd belastning (mängden bildrutor i ett videoklipp är konstant) men utan att belasta grafikkretsen – på så sätt kan vi jämföra även med processorer utan integrerad grafik.
Stort tack till Corsair, Gigabyte, Asus, MSI, Crucial, Noctua, Watts Up, Netgear och Startech som har bidragit med testhårdvara.
Varför bara 1080 och 720 upplösning? ingen vettig person i dagsläget tittar på så låga upplösningar när man bygger ny dator. Ska man åtminstone försöka vara framtidsäker så är det 4k som gäller, sedan är det rätt många av oss entusiaster som redan sitter på 4k.
Vet att systemet blir allt mindre CPU beroende när man höjer upplösningen men fortfarande extremt viktigt när man bedömer pris/prestanda för ett framtida system.
Det viktiga är väl bara att det är lika för alla testade processorer. /jb
Nej det är ju inte riktigt så. Två olika CPUs kan få helt olika resultat i olika upplösningar, framför allt är detta tydligt i 4k.
Att iGPU skulle kunna påverka det kan jag ha förståelse för, men inte att diskreta kort skulle kunna påverka.
Skulle vara intressant att få läsa Carls kommentar angående detta. /jb
Finns många exempel då detta här för att ta ett:
1080p:
4K:
Har som sagt sätt liknande resultat i många tester men vet inte hur pålitliga de är och vore därför bra om NH tittade på det eftersom man kan lite på dem.
I det här fallet är det mer en målgruppsfråga, och som du säger minskar CPUns roll drastiskt i 4K-upplösning, så till den grad att skillnaden mellan exempelvis en Ryzen 7 1700X och en Ryzen 5 1500X blir obetydligt. Idag är 1080p fortfarande den absolut vanligaste upplösningen för gaming i mellanklassen, som de här processorerna riktas mot. Ytterligare analyser på högre upplösningar även med billigare processorer kommer dock inom kort, men vi har tidigare gjort en analys av första halvan av Ryzen 5-serien i högre upplösningar i vårt test av Ryzen 5 1500X och Ryzen 5 1600X:
https://www.nordichardware.se/test/amd-ryzen-5-1500x-ryzen-5-1600x-intels-dominans-ar-over.html
Hej Carl, ni skriver beträffande Minneskonfiguration att “Varje processor ska köra den högsta minnesfrekvensen som det finns officiellt stöd för”, jag förstår fullkomligt det ställningstagandet.
MEN, det skulle vara intressant att komplettera prestandatestet med uppgift om hur effekten blir av RAM-OC. Jag skulle vilja föreslå att ni använder RAM med den maximala OC-hastigheten, och mäter av prestanda för de olika frekvenserna, alternativt enbart för den högsta, och kompletterar med denna (dessa) värden.
Av egen erfarenhet har jag noterat att särskilt Ryzen ger ett väldigt positivt gensvar på RAM-OC, mycket bättre än i-proccessorer. /jb
När jag gnällde lite på Amd vid intrimmning av ett MSI-moderkort med en r7-1700 så fick jag nedanstående svar. Det innehåller en del viktig info och en hel del bra tips i länkarna. Using faster ram should improve overall Ryzen performance, but i cannot promise how much it will improve performance as it will vary depending on application and system usage. Please refer to the following AMD blog post on Tips for Building A Better Ryzen System: https://community.amd.com/community/gaming/blog/2017/03/14/tips-for-building-a-better-amd-ryzen-system Please ensure you are using the latest Ryzen Chipset drivers and the Ryzen Power Profile which can be downloaded here > https://community.amd.com/community/gaming/blog/2017/04/26/new-amd-ryzen-chipset-drivers-now-available… Läs hela »
Ytterligare matnyttig info om Ryzens minneshantering: http://www.guru3d.com/articles_pages/amd_ryzen_7_agesa_1006_performance_update_review,1.html /jb
Hej JB, och tack för din kommentar. Anledningen att vi inte gör ett test med högre minneshastigheter i det här fallet är för att det helt enkelt inte är rimligt tidsmässigt att testa minnesskalningen hos absolut alla processorer. Istället är det viktigare att alla testas på samma villkor. Med det sagt så har vi redan analyserat minnesskalningen hos Ryzen 5 – eftersom de två processorerna i den här artikeln har samma arkitektur och minneskontroller hänvisar vi därför till det testet:
https://www.nordichardware.se/test/amd-ryzen-5-1500x-ryzen-5-1600x-intels-dominans-ar-over.html
Tack för svar Carl:)
Just DET testet/avsnittet hade jag missat. Bra om ni gör minnesskalningstest när ni bedömer att det kan finnas anledning till det.
En stilla undran bara angående “Testsystem och testmetod”. Det anges inget om Tjänster, men jag tar för givet att ni stängt av alla tjänster som inte är absolut nödvändiga för att utföra testerna.
/jb
Det kan finnas anledning till att göra en förnyad minnesskalningstest nu efter släppet av Agesa 1.0.0.6, eller vad tror du Carl?
/jb
Är det så att ni inte stängt av onödiga tjänster, då är risken stor att testerna blir utsatta för påverkan, vilket därmed gör att de blir mindre tillförlitliga. Vilka tjänster, om ens några, har ni stängt ner? Det finns tjänster som när de aktiveras tar ansenlig både; processorkraft, diskaccess och minnesallokering (RAM och Cache). /jb
Det stämmer att Agesa 1.0.0.6 innebär potentiellt förbättrad minnesprestanda, och det kommer vi kika närmare på. En anledning att vi avvaktat är dock att ytterligare Ryzen-processorer är på väg, och det blir bättre att göra en mer komplett recap när AMD har hela familjen lanserad 🙂
Vad gäller bakgrundsprogram stänger vi av onödiga processer som Onedrive och löpande uppdateringskontroller. Det enda som körs i bakgrunden är vår resultathantering som är identisk för alla system.
Varför är Ryzen 5 1400 snabbare än Ryzen 5 1500X i AIDA64 Julia och Mandel? Sen JetStream förefaller vara ett intetsägande test, jag kan ha fel. Man borde tycka att en enkeltrådad test borde skala med processorns klocka, vilket inte sker med varken Intel eller AMD. Ett annat scenario är att det får plats i cachen och därmed ger bättre prestanda, men det stämer inte då Ryzen 5 1400 har 8+2 och Ryzen 5 1500X har 16+2. Har inte tittat på vilken BIOS som används mellan testerna, vilket kan vara en orsak även om det inte borde göra så mycket.… Läs hela »
Jag håller med om slutsatsen att 1400 ligger lite i ett vakuum. En 1500X ger bättre kylare och dubbelt så mycket L3 cache för endast 300kr.
Däremot känns 1600 som ett ofta bättre alternativ än 1600X, eftersom den sistnämnda saknar kylare. Skillnaden i standard klockfrekvens känns irrelevant eftersom man ändå överklockar till samma nivå.
Ja, överklockar man så borde det inte ha någon större betydelse, under förutsättning att 1600X då inte har en annan binning. Den borde ju då kunna klockas (aningen) högre.
Kör man däremot stock så borde 1600X vara bättre överlag även i spel som hanterar flera trådar dåligt.