도이체뵈르제의 GenAI 기반 Zeppelin 노트북 대규모 마이그레이션

대규모 데이터 플랫폼 이전 프로젝트가 실패하는 이유는 인프라 자체보다 **수천 개의 분석 자산(노트북, 스크립트, 워크플로)**을 다시 만들어야 하는 문제인 경우가 많다. 독일 프랑크푸르트에 본사를 둔 금융시장 인프라 기업 도이체뵈르제(Deutsche Börse)도 같은 문제에 직면했다.
이 회사는 Cloudera 환경에서 운영하던 2,000개 이상의 Apache Zeppelin 노트북을 Databricks로 이전해야 했지만, 기존 방식대로라면 대부분을 수작업으로 재작성해야 하는 상황이었다. 이를 해결하기 위해 회사는 생성형 AI 기반 Databricks App을 직접 만들어 마이그레이션을 반자동화했다. 핵심 전략은 문제를 두 가지로 분리하는 것이었다. 즉, 구조 변환은 자동화 코드로 처리하고, 분석 로직은 AI와 사람이 함께 재구성하는 방식이다.

왜 노트북 마이그레이션이 필요했나

마이그레이션의 직접적인 이유는 Cloudera 환경에서 Zeppelin 노트북 지원이 사실상 종료된 것이다. Cloudera 문서에 따르면 Zeppelin은 최신 런타임에서 더 이상 지원되지 않으며 장기적으로 유지하기 어려운 상태다.

도이체뵈르제의 StatistiX 팀에게 문제는 단순한 이전이 아니라 규모였다. 수년간 축적된 2,000개 이상의 노트북에는 데이터 분석 워크플로와 다양한 비즈니스 로직이 포함되어 있었다. 이들을 전부 수동으로 다시 작성하는 것은 막대한 엔지니어링 시간을 요구하며 조직 전체에서 협업하기도 어렵다.

핵심 설계 아이디어: 구조와 로직을 분리하라

많은 마이그레이션 프로젝트가 전체 코드를 AI에게 한 번에 번역하도록 시도하지만, 이는 오류와 불확실성이 큰 접근이다. 도이체뵈르제 팀은 대신 서로 다른 두 작업을 명확히 분리했다.

1. 구조 변환 (Deterministic 자동화)

Zeppelin 노트북의 일부 요소는 규칙 기반으로 변환할 수 있다.

• Zeppelin의 paragraph를 Databricks 노트북 셀로 변환
• interpreter 문법 변환
• 메타데이터 형식 정리

이러한 작업은 반복적이고 예측 가능하기 때문에 생성형 AI 대신 자동화 코드로 처리하는 것이 더 안정적이다.

2. 분석 로직 재구성 (AI 보조)

문제의 핵심은 노트북 내부의 데이터 처리 로직과 분석 의도였다. 이 부분은 단순 번역이 아니라 의미 해석이 필요하다.

그래서 시스템은 Databricks의 AI 기능인 Databricks Genie에 전달할 컨텍스트 기반 프롬프트를 자동으로 생성한다. 이를 통해 사용자는 AI 도움을 받아 노트북의 분석 로직을 Databricks 환경에 맞게 다시 작성한다.

이 방식의 특징은 완전 자동화 대신 인간 검증을 포함한 AI 보조 모델이라는 점이다.

Databricks App 아키텍처

도구는 별도의 외부 프로그램이 아니라 Databricks App 형태로 만들어졌다. 즉, 사용자는 Databricks 환경 내부에서 바로 마이그레이션 작업을 진행할 수 있다.

전체 구조는 다음과 같은 구성 요소로 이루어졌다.

• 노트북 이전 과정을 안내하는 사용자 인터페이스
• Zeppelin 노트북 구조를 자동 변환하는 처리 엔진
• AI 프롬프트 생성 시스템
• 분석가가 결과를 검증하는 Human‑in‑the‑loop 단계

이 구조 덕분에 엔지니어뿐 아니라 업무 분석가들도 자신의 노트북을 직접 이전할 수 있었고, 동시에 중앙 거버넌스를 유지할 수 있었다.

실제 마이그레이션 워크플로

프로세스는 일반적으로 네 단계로 진행됐다.

1. 노트북 업로드
   사용자가 Zeppelin 노트북을 export해 Databricks App에 업로드한다.

2. 구조 자동 변환
   시스템이 노트북의 paragraph 구조, interpreter 구문, 메타데이터를 Databricks 형식으로 자동 변환한다.

3. AI 기반 로직 재구성
   노트북 맥락을 기반으로 생성된 프롬프트를 통해 Databricks Genie가 분석 로직 재작성 과정을 지원한다.

4. 사용자 검증 및 마무리
   분석가가 결과를 검토하고 수정하여 실제 업무 로직이 정확히 유지되도록 한다.

이 과정은 자동화 + 생성형 AI + 인간 검증을 결합한 하이브리드 워크플로다.

실제로 얼마나 시간을 절약했나

도이체뵈르제에 따르면 기존에는 노트북 하나를 새 환경에서 다시 만드는 데 수 시간이 걸렸다.

새 도구를 사용하면 노트북 하나당 약 15~20분이면 재개발이 가능해졌다.

2,000개 이상의 노트북을 기준으로 계산하면 다음과 같은 규모다.

• 약 500~667시간 정도의 재개발 작업
• 수작업 방식이라면 수천 시간 규모가 필요했을 가능성

정확한 총 절감 시간은 공개되지 않았지만, 작업 단위가 “시간 → 수십 분”으로 줄어든 것은 상당한 생산성 향상이다.

왜 현실적인 GenAI 사례로 평가되나

많은 기업의 생성형 AI 프로젝트는 실험 단계에 머무르지만, 이 사례는 명확한 운영 문제를 해결한 프로젝트라는 점에서 주목된다.

이 접근 방식이 실용적인 이유는 다음과 같다.

• 범위를 명확히 한 프로젝트: 레거시 노트북 마이그레이션이라는 구체적 문제 해결
• 하이브리드 자동화: 규칙 기반 작업과 AI 작업을 분리
• 인간 검증 유지: 금융 규제 환경에서 중요한 통제 유지

즉, AI가 모든 코드를 자동 생성하는 구조가 아니라 사람이 이해하고 검증할 수 있는 방식으로 설계됐다.

도이체뵈르제의 더 큰 클라우드 전환 전략 속에서

이 프로젝트는 회사의 광범위한 클라우드 전환 전략의 일부이기도 하다.

도이체뵈르제는 Google Cloud 기반으로 핵심 시스템을 재설계하면서 다음과 같은 성과를 보고했다.

• 총소유비용(TCO) 약 33% 절감
• 60개 이상의 애플리케이션 이전
• 핵심 SAP 시스템의 재해 복구 시간 85% 감소

또한 회사는 전체 워크로드의 50% 이상을 이미 클라우드에서 운영하고 있다고 밝히며 클라우드 중심 데이터 인프라 전략을 강화하고 있다.

이러한 전환에서 분석 노트북과 같은 데이터 자산을 현대화하는 작업은 필수 단계다. 분석 자산이 옛 환경에 묶여 있다면 클라우드 플랫폼의 가치를 제대로 활용할 수 없기 때문이다.

핵심 정리

도이체뵈르제의 사례는 기업 환경에서 생성형 AI를 적용하는 현실적인 모델을 보여준다.

• 반복적 구조 변환은 기존 자동화로 처리
• 해석이 필요한 로직은 생성형 AI로 지원
• 중요한 비즈니스 로직은 사람이 검증

이 전략 덕분에 2,000개 이상의 분석 노트북 이전이라는 대형 프로젝트가 완전 수작업 대신 반자동화 워크플로로 전환되었고, 노트북 하나당 재개발 시간을 몇 시간에서 15~20분 수준으로 줄일 수 있었다.