大型 AI 系統需要高頻寬記憶體(HBM),讓加速器可以高速讀寫訓練及推理所需的數據。高密度 AI 機櫃同時會使用一般 DRAM,令記憶體成本在整套系統中佔據越來越重要的位置。
有關 Vera Rubin 超級晶片物料成本的業界估算指出,記憶體半導體可能佔整顆晶片成本約 62%。但要留意,這是零部件成本估算,並非 Nvidia 已確認的出售價格。
Morgan Stanley 另一項分析估算,Vera Rubin VR200 NVL72 機櫃的記憶體成本約為 200萬美元,較 GB300 機櫃內的估算記憶體成本高約 435%。
這亦解釋了為何不同客戶、不同配置的加價幅度可以相差甚遠:一個記憶體容量較高的整櫃式系統,所受影響自然未必等同於較低容量的配置。
在新一輪加價消息之外,市場早已有關於 Vera Rubin 系統成本的估算。Morgan Stanley 預計,Vera Rubin VR200 NVL72 機櫃約值 780萬美元,相比之下,Grace Blackwell GB300 NVL72 約為 400萬美元。
兩者比較時有幾點不能忽略:
所以,現有公開資料可以支持「Vera Rubin 系統成本大幅上升」這個方向,但不足以得出一個經核實的 VR200 對 GB200 價格表,也未能列出每位客戶的實際加價幅度。
這宗價格消息在 Nvidia 預定於 8月26日 公布財政年度第二季業績前夕傳出。公司上一個已公布季度錄得 816億美元 收入,其中數據中心收入約 752億美元,毛利率約 75%。
對投資者及大型雲端服務商而言,記憶體成本上升有兩面刃。一方面,提高伺服器售價或有助 Nvidia 抵銷部分投入成本;另一方面,雲端服務商建設大型 AI 叢集所需的資本開支亦會進一步增加。
目前公開資料未能確認,報道中的加價有多少會轉化為 Nvidia 的收入或毛利率改善。
如果 Nvidia 系統變得更貴,Amazon、Microsoft、Google 及 Meta 等大型科技公司,自然會更有動機分散加速器供應來源。自研晶片可以針對公司內部的特定模型及工作負載設計,亦有機會降低長期成本及增加議價能力。
但 Nvidia 的護城河並不只是一塊 GPU。市場評論認為,CUDA 軟件生態、NVLink 高速互連,以及涵蓋硬件、網絡和軟件的完整平台,都是客戶難以輕易取代的部分。單一市場資料估計,Nvidia 佔高端 AI 加速器市場超過 80%,但不同機構對市場範圍的定義並不一樣。
AMD 的 MI300 系列加速器,以及雲端服務商的自研晶片,例如 AWS Trainium,都可以在合適的工作負載上提供替代方案。不過,它們並非每一個 CUDA 應用程式的即插即用替代品。客戶若要搬遷現有軟件堆疊、重新調整系統架構及驗證相容性,可能要付出相當高的工程成本。
因此,較合理的推測是:自研晶片和 AMD 方案會先用來補充 Nvidia 產能,尤其服務較穩定、規模較大的內部工作負載,而不是短期內全面取代 Nvidia。現有證據支持「客戶有更強誘因分散採購」,但未能證明替代方案會迅速取代 Nvidia 在大型 AI 數據中心的地位。
目前最穩妥的解讀是:Bloomberg 引述知情人士報道,部分 Nvidia 大型客戶已獲通知,明年初出貨的 AI 伺服器在不少情況下會加價逾15%,升幅取決於晶片世代及記憶體配置。
但公開資料仍未確立以下事項:
Reuters 將消息定位為 Bloomberg 的報道,並表示未能即時核實。 在 Nvidia 或客戶公開更多定價資料之前,最可靠的結論是:記憶體通脹正推高 AI 伺服器的整體經濟成本,但實際商業影響仍然藏在未公開的合約及配置之中。
大型 AI 系統需要高頻寬記憶體(HBM),讓加速器可以高速讀寫訓練及推理所需的數據。高密度 AI 機櫃同時會使用一般 DRAM,令記憶體成本在整套系統中佔據越來越重要的位置。
有關 Vera Rubin 超級晶片物料成本的業界估算指出,記憶體半導體可能佔整顆晶片成本約 62%。但要留意,這是零部件成本估算,並非 Nvidia 已確認的出售價格。
Morgan Stanley 另一項分析估算,Vera Rubin VR200 NVL72 機櫃的記憶體成本約為 200萬美元,較 GB300 機櫃內的估算記憶體成本高約 435%。
這亦解釋了為何不同客戶、不同配置的加價幅度可以相差甚遠:一個記憶體容量較高的整櫃式系統,所受影響自然未必等同於較低容量的配置。
在新一輪加價消息之外,市場早已有關於 Vera Rubin 系統成本的估算。Morgan Stanley 預計,Vera Rubin VR200 NVL72 機櫃約值 780萬美元,相比之下,Grace Blackwell GB300 NVL72 約為 400萬美元。
兩者比較時有幾點不能忽略:
所以,現有公開資料可以支持「Vera Rubin 系統成本大幅上升」這個方向,但不足以得出一個經核實的 VR200 對 GB200 價格表,也未能列出每位客戶的實際加價幅度。
這宗價格消息在 Nvidia 預定於 8月26日 公布財政年度第二季業績前夕傳出。公司上一個已公布季度錄得 816億美元 收入,其中數據中心收入約 752億美元,毛利率約 75%。
對投資者及大型雲端服務商而言,記憶體成本上升有兩面刃。一方面,提高伺服器售價或有助 Nvidia 抵銷部分投入成本;另一方面,雲端服務商建設大型 AI 叢集所需的資本開支亦會進一步增加。
目前公開資料未能確認,報道中的加價有多少會轉化為 Nvidia 的收入或毛利率改善。
如果 Nvidia 系統變得更貴,Amazon、Microsoft、Google 及 Meta 等大型科技公司,自然會更有動機分散加速器供應來源。自研晶片可以針對公司內部的特定模型及工作負載設計,亦有機會降低長期成本及增加議價能力。
但 Nvidia 的護城河並不只是一塊 GPU。市場評論認為,CUDA 軟件生態、NVLink 高速互連,以及涵蓋硬件、網絡和軟件的完整平台,都是客戶難以輕易取代的部分。單一市場資料估計,Nvidia 佔高端 AI 加速器市場超過 80%,但不同機構對市場範圍的定義並不一樣。
AMD 的 MI300 系列加速器,以及雲端服務商的自研晶片,例如 AWS Trainium,都可以在合適的工作負載上提供替代方案。不過,它們並非每一個 CUDA 應用程式的即插即用替代品。客戶若要搬遷現有軟件堆疊、重新調整系統架構及驗證相容性,可能要付出相當高的工程成本。
因此,較合理的推測是:自研晶片和 AMD 方案會先用來補充 Nvidia 產能,尤其服務較穩定、規模較大的內部工作負載,而不是短期內全面取代 Nvidia。現有證據支持「客戶有更強誘因分散採購」,但未能證明替代方案會迅速取代 Nvidia 在大型 AI 數據中心的地位。
目前最穩妥的解讀是:Bloomberg 引述知情人士報道,部分 Nvidia 大型客戶已獲通知,明年初出貨的 AI 伺服器在不少情況下會加價逾15%,升幅取決於晶片世代及記憶體配置。
但公開資料仍未確立以下事項:
Reuters 將消息定位為 Bloomberg 的報道,並表示未能即時核實。 在 Nvidia 或客戶公開更多定價資料之前,最可靠的結論是:記憶體通脹正推高 AI 伺服器的整體經濟成本,但實際商業影響仍然藏在未公開的合約及配置之中。