Stable Audio 3: Stability AI의 새로운 AI 음악 생성 모델은 어떻게 작동할까

특히 Stable Audio 3는 압축된 잠재 오디오 표현(latent representation) 위에서 작동한다. 즉, 원본 파형(waveform)을 직접 생성하는 대신 압축된 형태의 오디오 데이터를 생성한 뒤 다시 디코딩하는 방식이다. 이 접근법은 연산 비용을 크게 줄이면서도 긴 오디오를 생성할 수 있게 해준다.

핵심 기술: Semantic‑Acoustic Latent Diffusion

Stable Audio 3의 핵심 구조는 이미지 생성 모델에서도 널리 쓰이는 **잠재 확산 모델(latent diffusion)**이다.

여기서 중요한 역할을 하는 구성 요소가 semantic‑acoustic autoencoder다. 이 모델은 원본 오디오를 의미적 특징(음악적 구조 등)과 음향적 세부 정보로 구성된 압축된 잠재 표현으로 변환한다.

전체 생성 과정은 대략 다음 단계로 이루어진다.

1. 오디오 압축 – semantic‑acoustic autoencoder가 오디오 파형을 잠재 공간으로 변환한다.
2. 확산 생성 – diffusion 모델이 프롬프트 조건을 기반으로 새로운 잠재 오디오를 생성하거나 수정한다.
3. 디코딩 – 생성된 잠재 표현을 다시 실제 오디오 파형으로 복원한다.

이 방식 덕분에 모델은 긴 오디오를 더 효율적으로 생성할 수 있다.

가변 길이 생성과 오디오 인페인팅

Stable Audio 3의 중요한 설계 목표 중 하나는 가변 길이(variable‑length) 오디오 생성이다.

사용자는 짧은 효과음부터 수분 길이의 음악까지 원하는 길이를 지정할 수 있다. 매번 최대 길이를 생성하는 방식이 아니라 요청된 길이에 맞춰 계산량을 조정하기 때문에 효율성이 높다.

또한 Stable Audio 3는 오디오 인페인팅(inpainting) 기능을 지원한다.

이 기능을 통해 사용자는 다음과 같은 작업을 할 수 있다.

• 트랙의 특정 구간 교체
• 기존 오디오 뒤에 새로운 구간 이어붙이기
• 손상되거나 누락된 부분 복구

이 기능은 모델을 단순한 "프롬프트→음악 생성기"가 아니라 생성형 오디오 편집 도구에 가깝게 만든다.

모델 구성: Small, Medium, Large

Stable Audio 3는 서로 다른 용도와 성능을 목표로 한 세 가지 모델 크기로 제공된다.

Stable Audio 3 Small

• 비교적 가벼운 모델
• 모바일이나 제한된 하드웨어 환경에서도 사용할 수 있도록 설계
• Hugging Face 등에서 오픈 웨이트 공개

Stable Audio 3 Medium

• 전체 음악 생성과 일반적인 오디오 생성을 위한 모델
• 역시 오픈 웨이트로 공개됨

관련 체크포인트로는 다음이 언급된다.

• Stable Audio 3 Medium (직접 생성용)
• Stable Audio 3 Medium Base (연구 및 추가 학습용 기반 모델)

Stable Audio 3 Large

• 가장 큰 모델
• 기업용 또는 대규모 제작 환경을 목표로 설계
• 공개 다운로드 대신 Stability AI API 또는 엔터프라이즈 배포 방식으로 제공된다.

Stability AI에 따르면 설정에 따라 모델은 최대 약 6분 길이의 오디오를 생성할 수 있다.

학습 방식과 모델 파이프라인

Stable Audio 3는 다단계 학습 파이프라인을 사용한다.

간단히 정리하면 다음과 같은 구조다.

• 오토인코더 학습: 오디오를 정확히 압축하고 복원하는 방법 학습
• 확산 모델 학습: 프롬프트와 메타데이터를 기반으로 잠재 오디오 생성
• 추가 최적화 단계: 생성 품질과 효율성 개선

논문에서는 이러한 구성 요소가 단계적으로 학습된 뒤 전체 생성 시스템으로 결합된다고 설명한다.

오픈 웨이트와 라이선스 데이터

Stable Audio 3의 중요한 특징은 데이터와 모델 공개 방식이다.

Stability AI는 이 모델이 완전히 라이선스된 데이터로 학습되었다고 밝히고 있으며, 생성된 콘텐츠의 소유권은 사용자에게 있다고 설명한다.

핵심 포인트는 다음과 같다.

• Small과 Medium 모델은 오픈 웨이트 공개
• 생성 결과는 상업적 사용 가능 (Community License 기준)
• 연 매출 100만 달러 이상 조직은 엔터프라이즈 라이선스 필요

이 접근은 생성형 AI에서 계속 논쟁이 되는 훈련 데이터 저작권 문제에 대응하려는 전략으로 해석된다.

AI 음악 생성 경쟁 속에서의 위치

AI 음악 생성 시장은 빠르게 경쟁이 치열해지고 있다.

대표적으로 다음과 같은 서비스가 있다.

• Suno
• Udio

이 플랫폼들은 일반 사용자를 위한 완성형 노래 생성 서비스에 가까운 제품을 제공한다.

반면 Stable Audio 3는 다른 방향을 강조한다.

• 개발자와 연구자를 위한 오픈 웨이트 모델
• 라이선스된 데이터 기반 학습
• 음악 생성뿐 아니라 오디오 편집과 확장 기능

즉, 바이럴 소비형 앱보다는 **오디오 생성 기술의 기반 모델(platform model)**에 가까운 전략이다.

왜 중요한가

Stable Audio 3는 AI 음악 모델이 단순히 곡을 생성하는 수준을 넘어 창작 도구로 발전하는 흐름을 보여준다.

특히 세 가지 특징이 주목된다.

• 수분 길이 오디오를 생성하는 효율적인 잠재 확산 구조
• 인페인팅과 이어붙이기를 통한 편집 가능한 오디오 워크플로
• 연구와 개발을 위한 오픈 웨이트 공개

이러한 구조는 앞으로 **생성형 AI가 내장된 차세대 디지털 오디오 워크스테이션(DAW)**이나 음악 제작 도구의 기반 기술이 될 가능성이 있다.