DLSS – vad är Nvidias teknik för uppskalning av bilder?

DLSS är Nvidias senaste teknik för uppskalning av bilder och texturer. Men vad innebär det egentligen och hur fungerar tekniken som ska använda sig av maskininlärning för att ge skarpare bilder och grafik i spel?

I samband med lanseringen av Nvidias senaste grafikarkitektur vid namn Turing lades det mycket fokus på raytracing i realtid som vi gått igenom i en tidigare artikel. Ett annat dragplåster hos arkitekturen är även den nya tekniken vid namn Deep Learning Super-Sampling som vanligtvis går via sin förkortning DLSS.

Men vad är egentligen DLSS? Vad gör tekniken och varför kan den visa sig vara ett viktigt steg mot framtiden för spel och grafik?

Hur fungerar DLSS?

Nvidia har inte förklarat sin nya teknik i annat än relativt breda drag. Ser vi till tekniker för kantutjämning som siktar på att slipa kanter på texturer som annars kan se hackiga och lågupplösta ut är det samma slutmål som Deep Learning Super-Sampling har, men vägen dit är helt annorlunda.

Om vi börjar med Tensor-kärnorna som vidareutvecklats från Volta-arkitekturen och anpassats för konsumentprodukter har de förmågan att utföra en rad olika uppgifter. Det som Nvidia nämnt mest i sina presentationer är att kärnornas maskininlärningsgåva kan användas för den nya tekniken för uppskalning av bilder och texturer.

DLSS är en teknik som i korta drag kan beskrivas som att Tensor-kärnorna lär sig hur bilder i spel renderas i högupplöst utförande. Spelare använder sig tekniskt sett av en lägre upplösning hos texturerna som sedan skalas upp för att matcha den upplösning som bildskärmen använder sig av.

Medans kantutjämningstekniker fyller i gap mellan pixlar med vad som borde finnas i gapet för att ge en mjukare textur arbetar DLSS med att skala upp lågupplösta bilder för att efterlikna högupplösta referensbilder för att ge intrycket av ett högre upplöst spel än vad det faktiskt är.

Inför lanseringen av Turing gick Nvidia igenom DLSS och förklarade tekniken på så vis att Nvidia matar sin superdator Saturn V med miljontals bilder från ett specifikt spel vid hög upplösning. Saturn V lär sig hur texturerna från det specifika spelet ska se ut i högupplöst format. Dessa bilder skalas sedan ned till en fraktion av sin storlek och kvalitet och sedan börjar DLSS-algoritmen att tränas till att återskapa de högupplösa referensbilderna från de lågupplösta varianterna.

“DLSS leverages a deep neural network to extract multidimensional features of the rendered scene and intelligently combine details from multiple frames to construct a high-quality final image. DLSS uses fewer input samples than traditional techniques such as temporal anti-aliasing (TAA) while avoiding the algorithmic difficulties such techniques face with transparency and other complex scene elements.”

När Nvidias datorcenter har lärt sig att “packa upp” dessa lågupplösta texturer har Nvidia och spelutvecklarna skapat en profil för ett specifikt spel som officiellt får DLSS-stöd. Profilerna kan sedan integreras i Nvidias grafikdrivrutiner för att nyttjas av Turing-baserade RTX-grafikkort och deras Tensor-kärnor. Målet med tekniken är att grafikkorten ska kunna rendera bilder med jämnare kanter på ett snabbare och mer effektivt tack vare att en stor del av arbetet redan utförts på annat håll.

Enligt Nvidia ska denna metod kräva färre beräkningar än företagets kantutjämningsteknik Temporal Anti-Aliasing (TAA), men ha ett liknande resultat med en lägre belastning hos grafikprocessorn.

Varför nyttja DLSS?

Som tidigare nämnt är tekniken utformad för att ge en bildkvalité jämförbar med om spelen i fråga skulle renderas i en högre upplösning tillsammans med kantutjämning aktiverat. Detta utan att lägga lika mycket press på grafikprocessorerna vilket resulterar i ett dessa får mer resurser över till den faktiska renderingen av bilder.

Nvidia hävdar att detta kan ge ett markant prestandalyft i kompatibla speltitlar. Efter en relativt nylanserad uppdatering för Biowares speltitel Anthem hävdas Nvidia att tekniken kan ge upp till 40 procent högre antal bildrutor per sekund (fps). Något vi inte har kunnat testa själva och har således endast Nvidias interna tester att döma detta påstående med.

Då raytracing i realtid är en ökänd prestandatjuv kan den tekniken i kombination med DLSS bidra till mer verklighetstrogna reflektioner och skuggor i spel medans prestandan fortfarande hålls på en acceptabel nivå. Det är dock en balansgång mellan olika inställningar hos båda teknikerna för att nå en nivå där den grafiska kvalitén når en önskad nivå utan att antalet bildrutor per sekund börjar efterlikna ett trögflytande bildspel.

Varför hålla sig borta från DLSS?

Trots att teknikens grundtanke och förhoppningar ser bra ut kan det dock finnas anledningar till att hålla sig borta från tekniken. Det är inte alltid resultatet blir av önskad effekt och texturer börjar istället se suddiga och ofokuserade ut.

Nvidia har själva erkänt att tekniken kommer behöva optimeras och förbättras. Företaget har bekräftat att nästa mål för tekniken blir optimeringar för bildkvalitet vid 1 920 x 1 080 pixlars upplösning samt ultrabreda upplösningar som 3 440 x 1 440 pixlar. Detta tillsammans med lösningar på problem som uppstått när tekniken använts tillsammans med High Dynamic Range (HDR)

DLSS är trots allt resultatet av en maskininlärningsprocess. Trots att datorer med ett sådant specialiserat användningsområde kan ha lättare än en människa att lära sig en nu uppgift är det fortfarande en inlärningsprocess och det finns alltid risk för undermåliga resultat. Något som förhoppningsvis försvinner med tiden ju längre Nvidia tränar sina algoritmer för ett specifikt spels texturer.

Beroende på hur lång tid algoritmen har tränats för ett specifikt spel och beroende på hur länge efter det specifika spelets lansering denna träning fortskrider kan resultaten av DLSS variera markant.

Ovanstående exempel med Metro Exodus är inte lika grovt i dagsläget, detta beror då på att spelets texturer har legat och jäst inuti Nvidias datorcenter under en längre tid än vad de hade precis vid spelets lansering.Det är dock ett bra exempel på att DLSS inte nödvändigtvis alltid erbjuder bästa möjliga bildkvalité tillsammans med högst antal bildrutor per sekund.

Teknikens framtid

Det är inte bara Nvidia som har ett intresse av DLSS-liknande tekniker. Microsoft har sedan tidigare avtäckt en liknande teknik vid namn DirectML som ska implementeras direkt i gränssnittet DirectX och bli en mer öppen standard än Nvidias teknik. Exakt hur lanseringsfönstret för denna teknik ser ut och hur pass den kommer att anammas av industrin är däremot något som återstår att se.

DLSS är en imponerande grundtanke och teoretiskt sett har tekniken goda förutsättningar för att sätta en ny industristandard. Huruvida det faktiskt blir Nvidias teknik eller någon mer öppen teknik med samma slutmål är dock något som endast tiden kommer att avgöra. I dagsläget kan DLSS ses som en god tanke och en imponerande grundteknik, men den behöver tid att mogna och få potentiella farthinder och problem åtgärdade innan den når sin fulla potential.

Raytracing – vad är det, vad gör det och bör du bry dig?