Qualcomm 最新公布嘅 Adreno Neural Fusion,重點唔只係「手機 GPU 有 AI」,而係將用作圖像運算嘅 AI 硬件直接塞入 GPU 內部。新架構有三個 GPU slice,而每個 slice 都配備一粒專用 Adreno Matrix Core;目標係令 AI 超解像(super-resolution)同插幀(frame generation)毋須兜去其他運算單元處理,再將資料搬返 GPU。
1
2
4
對玩家而言,理論上遊戲可以用較低內部解像度渲染,再由 AI 重建畫面;又或者根據已渲染畫面資料生成額外幀數,以提升畫面細緻度同流暢感。真正效果仍取決於遊戲有冇整合、所用模型、手機散熱及實際負載,現階段未有零售機和遊戲的獨立測試結果。
三個 GPU slice,各自有 Matrix Core
新 Adreno GPU 延續三 slice 架構,每個 slice 都有自己嘅 Matrix Core。呢啲係專為 AI 運算而設嘅模組,可在圖像管線之內直接跑較複雜嘅 AI 模型。
2
4
超解像同插幀要處理畫格、動態資訊、tile 資料同中間渲染結果,全部都同 GPU 工作貼身。將 AI 運算單元放返喺 GPU 架構入面,理論上可減少資料來回搬運與不同處理模組之間同步所帶來嘅成本。Qualcomm 指此做法有助降低延遲及功耗開銷。
1
3
Neural Fusion 做嘅係咩?
Adreno Neural Fusion 係 Qualcomm 對統一圖像工作流程嘅名稱,將以下項目結合:
- 神經網絡處理;
- AI 超解像;
- 插幀。
1
傳統做法下,遊戲每一個像素、每一幀都主要靠常規渲染完成;Neural Fusion 嘅構想則係以 AI 補足一部分工作。因此,遊戲未必需要以最高內部解像度渲染所有像素,亦可從既有畫面資料推算額外畫格。
Qualcomm 聲稱,系統可令畫面更銳利、更穩定,並減少閃爍、shimmering(細節抖動)及 ghosting(殘影)等瑕疵。呢啲屬廠方說法,實際畫質、延遲與相容性仍須視乎每款遊戲的最終實作,未經獨立基準測試。
1
13
18MB HPM:減少 GPU 走去主記憶體攞資料
新 GPU 另設 18MB Adreno High Performance Memory(HPM),即靠近 GPU 嘅低延遲記憶體。Qualcomm 表示,它可在本地暫存 tile 渲染資料、frame buffer 與運算工作負載,減少反覆存取系統記憶體。
1
4
對於不斷讀取中間影像資料嘅工作,少啲來回系統記憶體理論上就可減低頻寬需求、延遲同能源消耗。報道指出,三 slice GPU 峰值時脈為 1.45GHz,較前一代的 1.2GHz 高;同時整體功耗效率約有 12% 改善。
2
5
「最多慳 40% GPU 電」要點樣理解?
Qualcomm 聲稱,在相關 AI 渲染情境下,新方案相對舊方案可做到最多 40% 較低 GPU 功耗。
13
但呢個數字唔等於任何遊戲、任何手機都必定多 40% 電可用。續航和功耗會受遊戲整合程度、AI 模型、螢幕更新率、機身散熱,以及遊戲究竟受 GPU、CPU 還是記憶體限制等因素影響。在支援遊戲及實機獨立測試推出之前,較合適嘅理解係:呢個係 Qualcomm 的架構目標與廠方量度結果,而唔係通用保證。
Unity、Unreal Engine 已宣布支援
Qualcomm 表示,Adreno Neural Fusion 支援 Unity 和 Unreal Engine。
1
4
對開發商來講,若引擎層面已有支援,整合相關渲染功能所需的額外工作有機會較少。不過,支援引擎唔代表所有以該引擎開發嘅遊戲都會啟用 Neural Fusion,更唔代表每款遊戲都會有一樣嘅畫質或效能提升。
同 5GHz Oryon、FlexCache 有咩關係?
今次 GPU 公布,亦係 Qualcomm 預告下一代 Snapdragon 平台的一環。公司此前表示,下一代 Oryon CPU 可達 5GHz;同時引入 FlexCache 快取架構,容許不同類型 CPU 核心共用一個按工作負載動態分配嘅快取池,讓較大工作集盡量留在快取內,減少落到主記憶體。
合併嚟睇,Qualcomm 想講嘅係異質運算分工:GPU 及其 Matrix Cores 處理貼近渲染、對延遲敏感嘅 AI 工作;CPU 和快取系統則應付一般應用程式反應、多工及變動較大嘅負載。Qualcomm 原定於 9 月 22 日至 24 日 在夏威夷茂宜島舉行 Snapdragon Summit,屆時預計會有更多平台資訊,包括 Hexagon NPU 的詳情。
11
目前仍未知道嘅事
架構方向已經清楚,但幾個關鍵問題仍待公布或實測:
- 最終邊款 Snapdragon 產品會採用此 Adreno 設計;
- 首批支援 Neural Fusion 嘅遊戲名單;
- 超解像與插幀在不同遊戲的畫質和延遲表現;
- 在手機長時間發熱、降頻限制下,功耗優勢能否維持;
- GPU 內 Matrix Core 的圖像 AI 工作,會如何與 SoC 其他部分處理的裝置端 AI 任務分工。
一句講晒,Qualcomm 係想將 AI 渲染由 GPU 外掛式工作,變成 GPU 原生功能。架構是否真係有料,最終仍要睇量產手機同實際遊戲能否交出穩定畫質、更流暢體驗,同埋可量度到嘅續航改善。