Stable Audio 3：Stability AI 最新 AI 音樂生成模型完整解析

AI 音樂生成技術正在快速發展，而 Stable Audio 3 是 Stability AI 最新推出的一代音訊生成模型家族。這套系統基於擴散模型（diffusion models），能從文字提示生成音樂或音效，也能對既有音訊進行修改與延伸，並且能生成 長達數分鐘的音訊片段。

與許多封閉式音樂生成平台不同，Stable Audio 3 的部分模型 提供開放權重（open weights）並使用授權資料集訓練，讓研究者與開發者能在其基礎上建立新工具或應用。

Stable Audio 3 是什麼

Stable Audio 3 是一個 用於音訊生成與編輯的潛在擴散模型（latent diffusion models）家族，目前包含三種主要尺寸：

• Stable Audio 3 Small
• Stable Audio 3 Medium
• Stable Audio 3 Large

這些模型能根據文字提示生成音樂、環境聲或其他音效，也能對既有音訊片段進行修改與延續。

與直接生成原始波形（raw waveform）不同，Stable Audio 3 在 壓縮的潛在音訊表示（latent audio representation） 上進行生成，從而降低計算成本，使生成較長的音訊成為可能。

系統的兩個關鍵能力包括：

• 可變長度生成（variable‑length generation）：可以生成短音效或多分鐘音樂，而不需要每次都計算最長音訊長度。
• 音訊修補（audio inpainting）：允許替換或補齊音訊中的特定區段。

因此，Stable Audio 3 不只是「文字生成歌曲」工具，更像是一個可進行編輯與創作的 生成式音訊製作平台。

核心架構：語意‑聲學潛在擴散模型

Stable Audio 3 採用與現代影像生成器類似的核心理念：在壓縮潛在空間中運作的擴散模型。

其中最重要的元件之一是 語意‑聲學自編碼器（semantic‑acoustic autoencoder）。這個模型會把原始音訊轉換成較小的潛在表示，同時保留音樂結構與聲學細節。

整個生成流程大致分為三步：

1. 音訊壓縮：自編碼器將波形音訊轉換為緊湊的潛在表示。
2. 擴散生成：擴散模型根據提示或條件訊號生成新的潛在音訊表示。
3. 解碼還原：系統把潛在表示轉回完整音訊波形。

由於擴散過程是在壓縮空間中進行，系統可以在保持音質的同時 大幅降低計算量並支援更長的音訊生成。

可變長度生成與音訊編輯

Stable Audio 3 的設計重點之一，是讓模型能有效率地生成不同長度的音訊。

模型支援 原生可變長度生成，使用者可以要求生成短音效、背景音或數分鐘的完整音樂，而系統只會計算所需長度。

此外，Stable Audio 3 還支援 音訊 inpainting。這讓使用者可以：

• 替換一段音軌中的特定區域
• 延伸原有音訊片段
• 修復缺失或損壞的音訊部分

這種功能使模型更接近 生成式數位音訊工作站（generative audio workstation） 的概念，而不只是單純的文字生成音樂工具。

模型家族：Small、Medium、Large

Stable Audio 3 以 多尺寸模型家族 的形式發布，以適應不同硬體與使用情境。

Stable Audio 3 Small

• 針對效率與輕量化設計
• 可在資源有限或行動裝置環境運行
• 提供開放權重下載，例如在 Hugging Face 上取得

Stable Audio 3 Medium

• 更強大的模型，適合 完整音樂生成與一般音訊創作
• 同樣提供開放權重下載

常見兩種版本：

• Stable Audio 3 Medium：直接用於音訊生成
• Stable Audio 3 Medium Base：研究或微調用途的基礎模型

Stable Audio 3 Large

• 家族中能力最強的模型
• 主要面向 企業級音訊製作或大型部署
• 通常透過 Stability AI API 或企業部署提供，而非公開權重下載

整體而言，這些模型可生成 最長約六分鐘的音訊序列，實際長度取決於設定與運行環境。

訓練方式與模型管線

Stable Audio 3 採用 多階段訓練流程（multi‑stage training pipeline），將不同模型組件分別訓練後再整合。

簡化流程如下：

• 自編碼器訓練：學習如何壓縮並還原音訊。
• 擴散模型訓練：學習在潛在空間中生成音訊表示。
• 後續優化與蒸餾：提升生成品質與推理效率。

公開資料僅提供高層級描述，部分細節並未在公開摘要中完全披露。

開放權重與授權資料

Stable Audio 3 的另一個重要特點是 授權與資料策略。

Stability AI 表示，模型是以 完全授權（fully licensed）的訓練資料建立，並且生成內容的所有權屬於使用者。

主要授權重點包括：

• Small 與 Medium 模型提供 開放權重下載。
• 生成內容可在 Stability AI Community License 下商用。
• 年收入超過 100 萬美元的組織需使用企業授權。

這種策略旨在回應生成式 AI 在 訓練資料版權與創作者權利上的爭議。

在 AI 音樂競爭中的定位

AI 音樂生成市場競爭激烈，例如 Suno 和 Udio 等平台已能生成完整歌曲甚至帶人聲。

但 Stable Audio 3 採取稍微不同的策略。

Stability AI 的重點包括：

• 為研究者與開發者提供 開放權重模型
• 使用 授權資料集訓練
• 提供 生成與編輯兼具的音訊工具能力

許多現有的文字轉音訊系統仍屬於封閉平台，因此 Stable Audio 3 嘗試以 開放研究與創作基礎模型 的角色切入市場。

為什麼這次發布值得注意

Stable Audio 3 顯示 AI 音訊模型正在從單純的「文字生成歌曲」走向 可編輯、可延伸的長音訊創作工具。

三個關鍵突破包括：

• 潛在擴散架構支援 多分鐘音訊生成
• 音訊編輯能力（inpainting 與延續生成）
• 部分模型開放權重 供研究與開發使用

隨著生成式音訊技術成熟，這類模型可能逐漸成為未來 AI 原生音樂製作工具與數位音訊工作站 的核心基礎。