Qualcomm flyttar AI-rendering in i Adreno-GPU:n med Neural Fusion

Qualcomm vill göra AI-rendering till en inbyggd del av mobilens grafikprocessor, snarare än ett separat steg vid sidan av GPU:n. Med Adreno Neural Fusion får den kommande Adreno-arkitekturen särskilda AI-enheter, kallade Adreno Matrix Cores, direkt i grafikflödet. Målet är AI-baserad uppskalning och bildgenerering med lägre fördröjning och lägre energiförbrukning i mobilspel. 14

En Matrix Core i varje GPU-del

Den nya Adreno-designen har tre GPU-delar, och varje del paras med en egen Matrix Core. Det är dedikerade beräkningsblock för AI-modeller som ska köras lokalt i GPU:ns renderingskedja. 24

Placeringen är viktig eftersom tekniker som superupplösning och bildgenerering använder data nära själva renderingen: bildrutor, rörelseinformation, renderingsrutor och mellanresultat. När AI-hårdvaran finns i grafikarkitekturen behöver data i teorin inte flyttas lika mycket mellan separata beräkningsenheter. Qualcomm säger att det minskar både latens och energiåtgång jämfört med en mer uppdelad lösning. 13

Vad Neural Fusion ska göra

Adreno Neural Fusion är Qualcomms samlingsnamn för ett grafikflöde som kombinerar:

• neural bearbetning,
• AI-baserad superupplösning,
• bildgenerering (frame generation). 1

I praktiken kan ett spel rendera i en lägre intern upplösning och låta en AI-modell återskapa den färdiga bilden. Bildgenerering kan i sin tur skapa extra bildrutor utifrån data från redan renderade rutor. Tanken är att öka upplevd detaljrikedom och följsamhet utan att varje pixel eller bildruta måste renderas på traditionellt vis.

Qualcomm uppger att tekniken ska ge skarpare och stabilare bilder samt minska störningar som flimmer, shimmering och ghosting. Det är dock företagets egna påståenden: bildkvalitet och fördröjning kommer att bero på hur varje enskilt spel implementerar tekniken, och oberoende tester saknas ännu. 113

18 MB HPM ska hålla data nära GPU:n

GPU:n får också 18 MB Adreno High Performance Memory (HPM), ett lågfördröjningsminne nära GPU:n. Det är avsett för bland annat tile-baserad renderingsdata, bildbuffertar och beräkningsjobb, så att dessa data inte lika ofta behöver hämtas från telefonens vanliga arbetsminne. 14

Mindre trafik till systemminnet kan sänka kraven på minnesbandbredd, fördröjning och energiförbrukning, särskilt i arbetslaster som återanvänder mellanliggande bilddata. Rapporter om presentationen anger en toppfrekvens på 1,45 GHz för tresegments-GPU:n, upp från 1,2 GHz i föregående design, samt en förbättring av energieffektiviteten på omkring 12 procent. 25

Energibesparingen är ett leverantörspåstående

Qualcomm har talat om upp till 40 procent lägre GPU-energiförbrukning jämfört med sin tidigare lösning i relevanta scenarier för AI-rendering. 13 Det ska inte tolkas som en garanterad batterivinst i varje spel, telefon, upplösning eller temperaturförhållande.

Utfallet beror bland annat på spelets integration, AI-modellen, skärmens uppdateringsfrekvens, telefonens kylning och om spelet främst begränsas av GPU, CPU eller minnesbandbredd. Tills telefoner i butik och spel med färdigt stöd har testats oberoende är siffrorna främst Qualcomms egna arkitektur- och mätpåståenden.

Stöd i Unity och Unreal Engine

Qualcomm säger att Adreno Neural Fusion stöds i Unity och Unreal Engine. 14 Stöd på spelmotornivå kan minska mängden specialanpassad grafikintegration som studior behöver göra. Det innebär däremot inte automatiskt att alla spel använder funktionen eller att resultaten blir identiska mellan olika titlar.

Del av nästa Snapdragon-satsning

GPU-presentationen följer på Qualcomms förhandsvisning av nästa generations Oryon-CPU, som företaget uppger kan nå 5 GHz. Qualcomm har även visat FlexCache, en cachearkitektur där olika typer av CPU-kärnor kan använda en dynamiskt tilldelad gemensam cachepool. Syftet är att större arbetsmängder ska kunna ligga kvar i cache i stället för att flyttas ut till minnet.

Tillsammans pekar presentationerna mot en bredare strategi för heterogen beräkning: GPU:n och dess Matrix Cores hanterar AI nära grafiken, medan CPU:n och cachesystemet ska bidra till respons och varierande arbetslaster. Qualcomm hade planerat Snapdragon Summit till den 22–24 september i Maui, där fler detaljer om bland annat Hexagon NPU väntades. 11

Det som fortfarande är oklart

Arkitekturen är presenterad, men flera centrala frågor återstår:

• Vilka färdiga Snapdragon-produkter som får den nya Adreno-designen.
• Vilka spel som lanseras med Neural Fusion aktiverat.
• Hur bra superupplösning och bildgenerering fungerar i olika spel.
• Om de utlovade energivinsterna håller vid långvarig belastning och telefonernas temperaturgränser.
• Hur AI-jobb i GPU:ns Matrix Cores ska fördelas i förhållande till bredare AI-uppgifter i systemkretsen.

Den viktiga förändringen är tydlig: Qualcomm gör AI-rendering till en inbyggd GPU-funktion i stället för ett externt tillägg. Det avgörande testet blir om spel som faktiskt släpps med tekniken kan omsätta det i konsekvent bättre bildkvalitet, jämnare spelupplevelse och mätbar batteribesparing.