Stable Audio 3：Stability AI 的新一代音乐生成模型详解

AI 音乐生成领域正在快速发展，而 Stable Audio 3 是 Stability AI 最新推出的一代音频生成模型。该系统由一系列扩散模型组成，可以根据文本提示生成音乐或音效，也能编辑现有音频片段，同时保持较高效率，支持生成 多分钟长度的音频内容。与不少竞争产品不同，该模型家族的一部分还提供 开放权重和授权训练数据，方便研究人员与开发者在此基础上构建新的应用。

Stable Audio 3 是什么

Stable Audio 3 是一个 用于音频生成与编辑的潜空间扩散模型家族，包含三个主要版本：Small、Medium 和 Large。这些模型能够根据提示词生成音乐作品或音效，也可以对已有音频进行修改或扩展。

与直接生成原始波形的系统不同，Stable Audio 3 在 压缩后的潜空间（latent space） 中进行生成。这种方式显著降低计算成本，使生成较长音频成为可能。

该系统的两个关键能力包括：

• 可变长度生成（Variable-length generation）：用户可以生成从短音效到多分钟音乐的不同长度音频，而无需每次都承担最大长度的计算成本。
• 音频补全（Audio inpainting）：模型可以针对音频片段中的特定区域进行替换、修复或延续。

因此，它不仅能生成全新的音乐，还可以用于 编辑、修复或扩展已有录音。

核心架构：语义‑声学潜空间扩散

Stable Audio 3 的核心技术与许多现代图像生成模型类似：在压缩潜空间中运行的扩散模型。

系统的关键组件是 语义‑声学自动编码器（semantic‑acoustic autoencoder）。它将原始音频转换为紧凑表示，同时保留音乐结构和声音细节。

整体流程大致如下：

1. 音频压缩：自动编码器把波形音频转换为紧凑的潜空间表示。
2. 扩散生成：扩散模型根据提示词或条件信息生成或修改潜空间中的音频表示。
3. 解码还原：系统将生成的潜向量解码为完整音频波形。

由于扩散过程发生在压缩表示中，而不是直接处理原始音频，系统能够在保持音质的同时 大幅减少计算量并支持更长音频生成。

可变长度生成与音频编辑

Stable Audio 3 的一个重要设计目标，是支持不同长度音频的高效生成。

模型原生支持 可变长度生成：用户既可以生成几秒的音效，也可以生成持续数分钟的音乐，而不需要为短音频计算完整长度输出。

此外，系统还支持 音频补全（inpainting），允许用户：

• 替换音轨中的某一段
• 将现有音频继续延长
• 修复缺失或损坏的片段

这种能力使 Stable Audio 3 更像是一个 生成式音频工作站工具，而不仅仅是“输入提示生成整首歌”的系统。

模型版本：Small、Medium 与 Large

Stable Audio 3 作为一个 模型家族 发布，不同规模针对不同使用场景。

Stable Audio 3 Small

• 面向高效率生成
• 设计目标包括 可在移动设备或资源受限硬件上运行
• 提供开放权重下载（例如 Hugging Face）

Stable Audio 3 Medium

• 能力更强，适合 完整音乐创作与通用音频生成
• 同样提供公开权重下载

常见的两个版本包括：

• Stable Audio 3 Medium：直接用于生成音频
• Stable Audio 3 Medium Base：用于研究或进一步训练的基础检查点模型

Stable Audio 3 Large

• 系列中能力最强的模型
• 面向 企业级音频制作与部署
• 不提供公开权重下载，而是通过 Stability AI API 或企业部署提供

根据 Stability AI 的说明，该模型家族在合适配置下可以生成 最长约 6 分钟的音频内容。

训练流程与模型管线

Stable Audio 3 采用 多阶段训练流程，核心围绕语义‑声学自动编码器和扩散生成模型展开。

简化来说，训练流程包括：

• 自动编码器训练：学习高质量压缩与重建音频
• 扩散模型训练：学习在潜空间中生成音频表示，并根据文本提示进行条件生成
• 进一步优化阶段：提高生成质量和推理效率

公开资料表明这是一个分阶段训练系统，但每个阶段的详细结构在公开摘要中披露较少。

开放权重与授权数据

Stable Audio 3 的一个重要特点是其许可策略。

Stability AI 表示，该系列模型 使用完全授权的数据进行训练，并且用户拥有生成内容的使用权。

主要许可特点包括：

• Small 与 Medium 模型提供开放权重下载。
• 在 Stability AI Community License 下，用户可以 商业化使用生成内容（大型组织需要企业授权）。

这种强调授权数据与开放权重的策略，是对生成式 AI 训练数据版权争议的一种回应。

在 AI 音乐竞争中的定位

AI 音乐生成领域竞争正在加剧。例如 Suno 和 Udio 等平台，已经可以直接生成带人声的完整歌曲，并以消费级应用为主要目标。

相比之下，Stable Audio 3 采取了不同策略：

• 提供 开发者与研究者可用的开放权重
• 强调 授权训练数据来源
• 提供 灵活的音频生成与编辑能力

这意味着 Stability AI 的目标并不只是打造一个面向普通用户的音乐生成应用，而是推出一个 面向创作者和开发者的音频基础模型平台。

为什么这个发布值得关注

Stable Audio 3 展示了一种新的方向：可编辑、可扩展的长音频生成模型。

其几个关键特点包括：

• 基于潜空间扩散的 多分钟音频生成效率
• 支持 音频补全与延续 的编辑能力
• 部分模型开放权重，便于研究与开发

随着生成式音频技术的发展，这类模型很可能成为未来数字音频工作站（DAW）和创作工具的重要基础。