以下是本次 GTC 台北大會的重大宣布與關鍵組成要素:
DSX OS 是一個開源、模組化的軟體層,專為 AI 工廠的運行而設計,整合了生命週期管理、運行環境一致性、健康監控自動化、韌性機制、多租戶營運及平台服務等功能 。你可以將其想像為整座 AI 工廠的「大腦中樞」,它將運算、軟體、設施與夥伴技術透過一個共同設計的架構緊密串聯 。NVIDIA 選擇將 DSX OS 開源,背後的戰略意圖十分明確:建立 AI 工廠的產業標準作業系統,如同開源軟體在雲端與企業基礎設施領域成為主流一樣,藉此加速生態系採用、驅動社群創新,並減少碎片化 。
面對 AI 運算對電力的巨大需求,DSX MaxLPS 是一套專注於功耗與效率的軟體套件。它能在 GPU、機架(Rack)以及工作負載等級動態管理電力,精準地在固定的電力預算內,最大化每兆瓦電力的 Token 性能 。NVIDIA 指出,這項技術能讓 AI 工廠在相同的電力包絡(Power Envelope)內,以最高能源效率運行多達 40% 的 GPU,從而實現最低的單位 Token 成本 。這項技術的關鍵在於其結合了45 度攝氏溫水液冷技術與細膩的機架內功耗調配,能有效回收並利用那些被「閒置」的電力,在不對性能造成顯著影響的前提下,部署更多 GPU 。
為了讓 AI 工廠成為能源生態系中的好公民,DSX Flex 技術應運而生。它能將 AI 工廠直接連結至電力公司的電網服務,根據來自公用事業端的信號,如需量卸載(Load Shedding)、需量反應(Demand Response)及即時電價事件,動態調整 AI 工作負載 。此外,它還能協調來自市電、場域內再生能源與儲能設備間的電力調度 。目前,DSX Flex 已與 美國矽谷電力公司(Silicon Valley Power) 及 Emerald AI 共同啟動一項規模達數兆瓦的商業先導計畫,展示 AI 工廠如何在不犧牲關鍵工作負載性能的前提下,回應公用事業電網的調度指令,為電網的穩定性與可負擔性盡一份力 。
NVIDIA 正積極與業界領先的台灣系統製造商合作,擴展 DSX 生態系,這些廠商將以極致的協同設計為核心,打造支援 DSX 的系統 。同時,以下全球頂尖的雲端合作夥伴也正在部署 DSX 平台的核心組件 :
這些合作夥伴正在採用 DSX 堆疊,以降低布建風險、提升 GPU 利用率,並讓 AI 雲端算力能更快上線,共同建構未來的 AI 工廠 。
以下是本次 GTC 台北大會的重大宣布與關鍵組成要素:
DSX OS 是一個開源、模組化的軟體層,專為 AI 工廠的運行而設計,整合了生命週期管理、運行環境一致性、健康監控自動化、韌性機制、多租戶營運及平台服務等功能 。你可以將其想像為整座 AI 工廠的「大腦中樞」,它將運算、軟體、設施與夥伴技術透過一個共同設計的架構緊密串聯 。NVIDIA 選擇將 DSX OS 開源,背後的戰略意圖十分明確:建立 AI 工廠的產業標準作業系統,如同開源軟體在雲端與企業基礎設施領域成為主流一樣,藉此加速生態系採用、驅動社群創新,並減少碎片化 。
面對 AI 運算對電力的巨大需求,DSX MaxLPS 是一套專注於功耗與效率的軟體套件。它能在 GPU、機架(Rack)以及工作負載等級動態管理電力,精準地在固定的電力預算內,最大化每兆瓦電力的 Token 性能 。NVIDIA 指出,這項技術能讓 AI 工廠在相同的電力包絡(Power Envelope)內,以最高能源效率運行多達 40% 的 GPU,從而實現最低的單位 Token 成本 。這項技術的關鍵在於其結合了45 度攝氏溫水液冷技術與細膩的機架內功耗調配,能有效回收並利用那些被「閒置」的電力,在不對性能造成顯著影響的前提下,部署更多 GPU 。
為了讓 AI 工廠成為能源生態系中的好公民,DSX Flex 技術應運而生。它能將 AI 工廠直接連結至電力公司的電網服務,根據來自公用事業端的信號,如需量卸載(Load Shedding)、需量反應(Demand Response)及即時電價事件,動態調整 AI 工作負載 。此外,它還能協調來自市電、場域內再生能源與儲能設備間的電力調度 。目前,DSX Flex 已與 美國矽谷電力公司(Silicon Valley Power) 及 Emerald AI 共同啟動一項規模達數兆瓦的商業先導計畫,展示 AI 工廠如何在不犧牲關鍵工作負載性能的前提下,回應公用事業電網的調度指令,為電網的穩定性與可負擔性盡一份力 。
NVIDIA 正積極與業界領先的台灣系統製造商合作,擴展 DSX 生態系,這些廠商將以極致的協同設計為核心,打造支援 DSX 的系統 。同時,以下全球頂尖的雲端合作夥伴也正在部署 DSX 平台的核心組件 :
這些合作夥伴正在採用 DSX 堆疊,以降低布建風險、提升 GPU 利用率,並讓 AI 雲端算力能更快上線,共同建構未來的 AI 工廠 。