Adreno Neural Fusion: Qualcomm integruje AI bezpośrednio z mobilnym GPU

Qualcomm chce, by AI wspierająca renderowanie nie była osobnym etapem wykonywanym poza GPU. W architekturze Adreno Neural Fusion dedykowane jednostki Adreno Matrix Cores trafiają bezpośrednio do trójsekcyjnego układu graficznego. Celem jest szybsze i bardziej energooszczędne użycie AI w grach mobilnych — zwłaszcza do superrozdzielczości i generowania klatek. 14

Po jednym Matrix Core w każdej części GPU

Nadchodzące GPU Adreno składa się z trzech sekcji (ang. slices), a każda z nich otrzymuje własny Matrix Core. Są to wydzielone bloki obliczeniowe do AI, przeznaczone do uruchamiania zaawansowanych modeli bezpośrednio w potoku graficznym. 24

To istotne, ponieważ superrozdzielczość i generowanie klatek korzystają z danych ściśle związanych z renderowaniem: gotowych i pośrednich klatek, informacji o ruchu czy danych kafelkowych. Umieszczenie sprzętu AI wewnątrz architektury graficznej ma ograniczać przenoszenie danych i konieczność synchronizacji między osobnymi blokami procesora. Według Qualcommu oznacza to niższe opóźnienia i mniejszy narzut energetyczny niż w bardziej rozdzielonym podejściu. 13

Czym jest Adreno Neural Fusion

Adreno Neural Fusion to nazwa wspólnego przepływu renderowania, który łączy:

• przetwarzanie neuronowe,
• superrozdzielczość wykorzystującą AI,
• generowanie klatek. 1

W praktyce gra może renderować obraz w niższej rozdzielczości wewnętrznej, a następnie użyć modelu AI do odtworzenia obrazu wynikowego. Może też tworzyć dodatkowe klatki na podstawie danych z klatek już wyrenderowanych. Te techniki mają podnieść postrzeganą szczegółowość i płynność bez konieczności klasycznego obliczania każdego piksela lub każdej klatki.

Qualcomm deklaruje ostrzejszy i stabilniejszy obraz oraz mniej artefaktów, takich jak migotanie, drżenie detali czy „duchy” za poruszającymi się obiektami. Są to jednak deklaracje producenta: jakość obrazu i opóźnienia będą zależały od wdrożenia w konkretnej grze, a niezależnych testów jeszcze nie opublikowano. 113

Dlaczego 18 MB Adreno HPM jest ważne

GPU otrzyma też 18 MB Adreno High Performance Memory (HPM) — pamięci o niskim opóźnieniu, umieszczonej blisko układu graficznego. Ma ona przechowywać lokalnie dane grafiki, m.in. dane renderowania kafelkowego, bufory ramek i zadania obliczeniowe, zamiast wielokrotnie odwoływać się do pamięci systemowej. 14

Mniejszy ruch do pamięci głównej może obniżać zapotrzebowanie na przepustowość, opóźnienia i zużycie energii, szczególnie gdy przetwarzane są wielokrotnie pośrednie dane obrazu. Według doniesień trzysekcyjne GPU osiąga maksymalnie 1,45 GHz, wobec 1,2 GHz w poprzedniej konstrukcji; opisano też około 12-procentową poprawę efektywności energetycznej. 25

Zapowiedź oszczędności energii wymaga ostrożności

Qualcomm promuje rozwiązanie deklaracją nawet o 40% niższego zużycia energii przez GPU w porównaniu z wcześniejszym rozwiązaniem, w odpowiednich scenariuszach renderowania AI. 13

Nie należy jednak traktować tej wartości jako gwarantowanego wydłużenia czasu pracy telefonu w każdej grze, przy każdej rozdzielczości i w każdych warunkach termicznych. Rezultat zależeć będzie m.in. od integracji funkcji w grze, użytego modelu AI, odświeżania ekranu, chłodzenia urządzenia oraz tego, czy ograniczeniem jest GPU, CPU czy przepustowość pamięci. Do czasu niezależnych testów telefonów i obsługiwanych gier są to przede wszystkim cele architektury i pomiary producenta.

Unity i Unreal Engine mają obsługiwać tę technikę

Qualcomm zapowiada obsługę Adreno Neural Fusion w silnikach Unity i Unreal Engine. 14 Integracja na poziomie silnika może ograniczyć ilość indywidualnej pracy potrzebnej studiom przy wdrażaniu tej technologii. Nie oznacza jednak, że każda gra zbudowana na tych silnikach automatycznie skorzysta z Neural Fusion ani że osiągnie identyczny efekt wizualny i wydajnościowy.

Element większej zapowiedzi Snapdragona

Prezentacja GPU towarzyszy wcześniejszej zapowiedzi procesora Oryon nowej generacji, który według Qualcommu ma osiągać 5 GHz. Firma przedstawiła również FlexCache — architekturę pamięci podręcznej pozwalającą heterogenicznym rdzeniom CPU korzystać z dynamicznie przydzielanej wspólnej puli cache. Ma to pomagać utrzymywać większe zestawy danych w pamięci podręcznej zamiast przenosić je do pamięci operacyjnej.

Łącznie komunikaty pokazują strategię obliczeń heterogenicznych: GPU i jego Matrix Cores mają realizować AI bezpośrednio związaną z grafiką, natomiast CPU i system cache mają odpowiadać za ogólną responsywność oraz zmienne obciążenia. Snapdragon Summit zaplanowano na 22–24 września w Maui, gdzie oczekiwano dalszych informacji o NPU Hexagon. 11

Co nadal pozostaje niewiadomą

Zapowiedź określa kierunek architektury, ale nie odpowiada jeszcze na kilka kluczowych pytań:

• które finalne układy Snapdragon dostaną to GPU Adreno;
• które gry zadebiutują z włączonym Neural Fusion;
• jak superrozdzielczość i generowanie klatek wypadną w różnych tytułach;
• czy deklarowane oszczędności energii utrzymają się przy długotrwałym obciążeniu i ograniczeniach termicznych smartfonów;
• jak zadania dla Matrix Cores w GPU zostaną podzielone względem szerszych zadań AI realizowanych przez inne elementy SoC.

Najważniejsza zmiana jest jasna: Qualcomm traktuje renderowanie wspierane przez AI jako natywną funkcję GPU, a nie zewnętrzny dodatek. O powodzeniu zdecyduje jednak to, czy gotowe gry przełożą tę zmianę architektury na konsekwentnie lepszy obraz, płynniejszą rozgrywkę i mierzalne oszczędności baterii.