도이체뵈르제는 Cloudera 환경에서 Databricks로 2,000개 이상의 Apache Zeppelin 노트북을 이전하기 위해 GenAI 기반 Databricks App을 개발했다. 도구는 노트북 구조 변환은 규칙 기반 자동화로 처리하고, 분석 로직 재구성은 생성형 AI와 사용자 검증을 결합하는 하이브리드 구조를 사용했다.
도이체뵈르제는 Cloudera 환경에서 Databricks로 2,000개 이상의 Apache Zeppelin 노트북을 이전하기 위해 GenAI 기반 Databricks App을 개발했다.
도구는 노트북 구조 변환은 규칙 기반 자동화로 처리하고, 분석 로직 재구성은 생성형 AI와 사용자 검증을 결합하는 하이브리드 구조를 사용했다.
기존에 노트북 하나당 수 시간이 걸리던 재개발 작업이 15 20분 수준으로 단축되어 전체 프로젝트에서 수천 시간 규모의 작업 시간을 줄일 가능성을 보여줬다.
How did Deutsche Börse use a custom GenAI-powered Databricks App to migrate more than 2,000 Zeppelin notebooks from Cloudera to Databricks aDeutsche Börse used a custom Databricks App combining deterministic conversion and generative AI to migrate thousands of Zeppelin notebooks.
AI 프롬프트
Create a landscape editorial hero image for this Studio Global article: How did Deutsche Börse use a custom GenAI-powered Databricks App to migrate more than 2,000 Zeppelin notebooks from Cloudera to Databricks a. Article summary: Deutsche Börse’s StatistiX team built a custom Databricks App to turn a 2,000+ Zeppelin-notebook migration into a semi-automated, AI-assisted workflow: deterministic code handled notebook structure, while GenAI helped us. Topic tags: general, documentation, general web, user generated. Reference image context from search candidates: Reference image 1: visual subject "# Introducing Databricks GenAI Partner Accelerators for Data Engineering & Migration. Speed up data engineering and data migration with GenAI and agentic accelerators built by Data" source context "Introducing Databricks GenAI Partner Accelerators for Data Engineering & Migration | Databricks Blog"
openai.com
대규모 데이터 플랫폼 이전 프로젝트가 실패하는 이유는 인프라 자체보다 **수천 개의 분석 자산(노트북, 스크립트, 워크플로)**을 다시 만들어야 하는 문제인 경우가 많다. 독일 프랑크푸르트에 본사를 둔 금융시장 인프라 기업 도이체뵈르제(Deutsche Börse)도 같은 문제에 직면했다.
이 회사는 Cloudera 환경에서 운영하던 2,000개 이상의 Apache Zeppelin 노트북을 Databricks로 이전해야 했지만, 기존 방식대로라면 대부분을 수작업으로 재작성해야 하는 상황이었다. 이를 해결하기 위해 회사는 생성형 AI 기반 Databricks App을 직접 만들어 마이그레이션을 반자동화했다. 핵심 전략은 문제를 두 가지로 분리하는 것이었다. 즉, 구조 변환은 자동화 코드로 처리하고, 분석 로직은 AI와 사람이 함께 재구성하는 방식이다.
왜 노트북 마이그레이션이 필요했나
마이그레이션의 직접적인 이유는 Cloudera 환경에서 Zeppelin 노트북 지원이 사실상 종료된 것이다. Cloudera 문서에 따르면 Zeppelin은 최신 런타임에서 더 이상 지원되지 않으며 장기적으로 유지하기 어려운 상태다.
Studio Global AI
연구를 계속하세요
이 페이지에는 Studio Global 내에서 계속할 수 있는 소스 기반 답변이 포함되어 있습니다.
"도이체뵈르제의 GenAI 기반 Zeppelin 노트북 대규모 마이그레이션"에 대한 짧은 대답은 무엇입니까?
도이체뵈르제는 Cloudera 환경에서 Databricks로 2,000개 이상의 Apache Zeppelin 노트북을 이전하기 위해 GenAI 기반 Databricks App을 개발했다.
먼저 검증할 핵심 포인트는 무엇인가요?
도이체뵈르제는 Cloudera 환경에서 Databricks로 2,000개 이상의 Apache Zeppelin 노트북을 이전하기 위해 GenAI 기반 Databricks App을 개발했다. 도구는 노트북 구조 변환은 규칙 기반 자동화로 처리하고, 분석 로직 재구성은 생성형 AI와 사용자 검증을 결합하는 하이브리드 구조를 사용했다.
실무에서는 다음으로 무엇을 해야 합니까?
기존에 노트북 하나당 수 시간이 걸리던 재개발 작업이 15 20분 수준으로 단축되어 전체 프로젝트에서 수천 시간 규모의 작업 시간을 줄일 가능성을 보여줬다.
도이체뵈르제는 Cloudera 환경에서 Databricks로 2,000개 이상의 Apache Zeppelin 노트북을 이전하기 위해 GenAI 기반 Databricks App을 개발했다. 도구는 노트북 구조 변환은 규칙 기반 자동화로 처리하고, 분석 로직 재구성은 생성형 AI와 사용자 검증을 결합하는 하이브리드 구조를 사용했다.
도이체뵈르제는 Cloudera 환경에서 Databricks로 2,000개 이상의 Apache Zeppelin 노트북을 이전하기 위해 GenAI 기반 Databricks App을 개발했다.
도구는 노트북 구조 변환은 규칙 기반 자동화로 처리하고, 분석 로직 재구성은 생성형 AI와 사용자 검증을 결합하는 하이브리드 구조를 사용했다.
기존에 노트북 하나당 수 시간이 걸리던 재개발 작업이 15 20분 수준으로 단축되어 전체 프로젝트에서 수천 시간 규모의 작업 시간을 줄일 가능성을 보여줬다.
How did Deutsche Börse use a custom GenAI-powered Databricks App to migrate more than 2,000 Zeppelin notebooks from Cloudera to Databricks aDeutsche Börse used a custom Databricks App combining deterministic conversion and generative AI to migrate thousands of Zeppelin notebooks.
AI 프롬프트
Create a landscape editorial hero image for this Studio Global article: How did Deutsche Börse use a custom GenAI-powered Databricks App to migrate more than 2,000 Zeppelin notebooks from Cloudera to Databricks a. Article summary: Deutsche Börse’s StatistiX team built a custom Databricks App to turn a 2,000+ Zeppelin-notebook migration into a semi-automated, AI-assisted workflow: deterministic code handled notebook structure, while GenAI helped us. Topic tags: general, documentation, general web, user generated. Reference image context from search candidates: Reference image 1: visual subject "# Introducing Databricks GenAI Partner Accelerators for Data Engineering & Migration. Speed up data engineering and data migration with GenAI and agentic accelerators built by Data" source context "Introducing Databricks GenAI Partner Accelerators for Data Engineering & Migration | Databricks Blog"
openai.com
대규모 데이터 플랫폼 이전 프로젝트가 실패하는 이유는 인프라 자체보다 **수천 개의 분석 자산(노트북, 스크립트, 워크플로)**을 다시 만들어야 하는 문제인 경우가 많다. 독일 프랑크푸르트에 본사를 둔 금융시장 인프라 기업 도이체뵈르제(Deutsche Börse)도 같은 문제에 직면했다.
이 회사는 Cloudera 환경에서 운영하던 2,000개 이상의 Apache Zeppelin 노트북을 Databricks로 이전해야 했지만, 기존 방식대로라면 대부분을 수작업으로 재작성해야 하는 상황이었다. 이를 해결하기 위해 회사는 생성형 AI 기반 Databricks App을 직접 만들어 마이그레이션을 반자동화했다. 핵심 전략은 문제를 두 가지로 분리하는 것이었다. 즉, 구조 변환은 자동화 코드로 처리하고, 분석 로직은 AI와 사람이 함께 재구성하는 방식이다.
왜 노트북 마이그레이션이 필요했나
마이그레이션의 직접적인 이유는 Cloudera 환경에서 Zeppelin 노트북 지원이 사실상 종료된 것이다. Cloudera 문서에 따르면 Zeppelin은 최신 런타임에서 더 이상 지원되지 않으며 장기적으로 유지하기 어려운 상태다.
Studio Global AI
연구를 계속하세요
이 페이지에는 Studio Global 내에서 계속할 수 있는 소스 기반 답변이 포함되어 있습니다.
"도이체뵈르제의 GenAI 기반 Zeppelin 노트북 대규모 마이그레이션"에 대한 짧은 대답은 무엇입니까?
도이체뵈르제는 Cloudera 환경에서 Databricks로 2,000개 이상의 Apache Zeppelin 노트북을 이전하기 위해 GenAI 기반 Databricks App을 개발했다.
먼저 검증할 핵심 포인트는 무엇인가요?
도이체뵈르제는 Cloudera 환경에서 Databricks로 2,000개 이상의 Apache Zeppelin 노트북을 이전하기 위해 GenAI 기반 Databricks App을 개발했다. 도구는 노트북 구조 변환은 규칙 기반 자동화로 처리하고, 분석 로직 재구성은 생성형 AI와 사용자 검증을 결합하는 하이브리드 구조를 사용했다.
실무에서는 다음으로 무엇을 해야 합니까?
기존에 노트북 하나당 수 시간이 걸리던 재개발 작업이 15 20분 수준으로 단축되어 전체 프로젝트에서 수천 시간 규모의 작업 시간을 줄일 가능성을 보여줬다.
도이체뵈르제의 StatistiX 팀에게 문제는 단순한 이전이 아니라 규모였다. 수년간 축적된 2,000개 이상의 노트북에는 데이터 분석 워크플로와 다양한 비즈니스 로직이 포함되어 있었다. 이들을 전부 수동으로 다시 작성하는 것은 막대한 엔지니어링 시간을 요구하며 조직 전체에서 협업하기도 어렵다.
핵심 설계 아이디어: 구조와 로직을 분리하라
많은 마이그레이션 프로젝트가 전체 코드를 AI에게 한 번에 번역하도록 시도하지만, 이는 오류와 불확실성이 큰 접근이다. 도이체뵈르제 팀은 대신 서로 다른 두 작업을 명확히 분리했다.
1. 구조 변환 (Deterministic 자동화)
Zeppelin 노트북의 일부 요소는 규칙 기반으로 변환할 수 있다.
Zeppelin의 paragraph를 Databricks 노트북 셀로 변환
interpreter 문법 변환
메타데이터 형식 정리
이러한 작업은 반복적이고 예측 가능하기 때문에 생성형 AI 대신 자동화 코드로 처리하는 것이 더 안정적이다.
2. 분석 로직 재구성 (AI 보조)
문제의 핵심은 노트북 내부의 데이터 처리 로직과 분석 의도였다. 이 부분은 단순 번역이 아니라 의미 해석이 필요하다.
그래서 시스템은 Databricks의 AI 기능인 Databricks Genie에 전달할 컨텍스트 기반 프롬프트를 자동으로 생성한다. 이를 통해 사용자는 AI 도움을 받아 노트북의 분석 로직을 Databricks 환경에 맞게 다시 작성한다.
이 방식의 특징은 완전 자동화 대신 인간 검증을 포함한 AI 보조 모델이라는 점이다.
Databricks App 아키텍처
도구는 별도의 외부 프로그램이 아니라 Databricks App 형태로 만들어졌다. 즉, 사용자는 Databricks 환경 내부에서 바로 마이그레이션 작업을 진행할 수 있다.
전체 구조는 다음과 같은 구성 요소로 이루어졌다.
노트북 이전 과정을 안내하는 사용자 인터페이스
Zeppelin 노트북 구조를 자동 변환하는 처리 엔진
AI 프롬프트 생성 시스템
분석가가 결과를 검증하는 Human‑in‑the‑loop 단계
이 구조 덕분에 엔지니어뿐 아니라 업무 분석가들도 자신의 노트북을 직접 이전할 수 있었고, 동시에 중앙 거버넌스를 유지할 수 있었다.
실제 마이그레이션 워크플로
프로세스는 일반적으로 네 단계로 진행됐다.
노트북 업로드
사용자가 Zeppelin 노트북을 export해 Databricks App에 업로드한다.
구조 자동 변환
시스템이 노트북의 paragraph 구조, interpreter 구문, 메타데이터를 Databricks 형식으로 자동 변환한다.
AI 기반 로직 재구성
노트북 맥락을 기반으로 생성된 프롬프트를 통해 Databricks Genie가 분석 로직 재작성 과정을 지원한다.
사용자 검증 및 마무리
분석가가 결과를 검토하고 수정하여 실제 업무 로직이 정확히 유지되도록 한다.
이 과정은 자동화 + 생성형 AI + 인간 검증을 결합한 하이브리드 워크플로다.
실제로 얼마나 시간을 절약했나
도이체뵈르제에 따르면 기존에는 노트북 하나를 새 환경에서 다시 만드는 데 수 시간이 걸렸다.
새 도구를 사용하면 노트북 하나당 약 15~20분이면 재개발이 가능해졌다.
2,000개 이상의 노트북을 기준으로 계산하면 다음과 같은 규모다.
약 500~667시간 정도의 재개발 작업
수작업 방식이라면 수천 시간 규모가 필요했을 가능성
정확한 총 절감 시간은 공개되지 않았지만, 작업 단위가 “시간 → 수십 분”으로 줄어든 것은 상당한 생산성 향상이다.
왜 현실적인 GenAI 사례로 평가되나
많은 기업의 생성형 AI 프로젝트는 실험 단계에 머무르지만, 이 사례는 명확한 운영 문제를 해결한 프로젝트라는 점에서 주목된다.
이 접근 방식이 실용적인 이유는 다음과 같다.
범위를 명확히 한 프로젝트: 레거시 노트북 마이그레이션이라는 구체적 문제 해결
하이브리드 자동화: 규칙 기반 작업과 AI 작업을 분리
인간 검증 유지: 금융 규제 환경에서 중요한 통제 유지
즉, AI가 모든 코드를 자동 생성하는 구조가 아니라 사람이 이해하고 검증할 수 있는 방식으로 설계됐다.
도이체뵈르제의 더 큰 클라우드 전환 전략 속에서
이 프로젝트는 회사의 광범위한 클라우드 전환 전략의 일부이기도 하다.
도이체뵈르제는 Google Cloud 기반으로 핵심 시스템을 재설계하면서 다음과 같은 성과를 보고했다.
총소유비용(TCO) 약 33% 절감
60개 이상의 애플리케이션 이전
핵심 SAP 시스템의 재해 복구 시간 85% 감소
또한 회사는 전체 워크로드의 50% 이상을 이미 클라우드에서 운영하고 있다고 밝히며 클라우드 중심 데이터 인프라 전략을 강화하고 있다.
이러한 전환에서 분석 노트북과 같은 데이터 자산을 현대화하는 작업은 필수 단계다. 분석 자산이 옛 환경에 묶여 있다면 클라우드 플랫폼의 가치를 제대로 활용할 수 없기 때문이다.
핵심 정리
도이체뵈르제의 사례는 기업 환경에서 생성형 AI를 적용하는 현실적인 모델을 보여준다.
반복적 구조 변환은 기존 자동화로 처리
해석이 필요한 로직은 생성형 AI로 지원
중요한 비즈니스 로직은 사람이 검증
이 전략 덕분에 2,000개 이상의 분석 노트북 이전이라는 대형 프로젝트가 완전 수작업 대신 반자동화 워크플로로 전환되었고, 노트북 하나당 재개발 시간을 몇 시간에서 15~20분 수준으로 줄일 수 있었다.
cloud.google.comDeutsche Börse Group case study | Google Cloud
도이체뵈르제의 StatistiX 팀에게 문제는 단순한 이전이 아니라 규모였다. 수년간 축적된 2,000개 이상의 노트북에는 데이터 분석 워크플로와 다양한 비즈니스 로직이 포함되어 있었다. 이들을 전부 수동으로 다시 작성하는 것은 막대한 엔지니어링 시간을 요구하며 조직 전체에서 협업하기도 어렵다.
핵심 설계 아이디어: 구조와 로직을 분리하라
많은 마이그레이션 프로젝트가 전체 코드를 AI에게 한 번에 번역하도록 시도하지만, 이는 오류와 불확실성이 큰 접근이다. 도이체뵈르제 팀은 대신 서로 다른 두 작업을 명확히 분리했다.
1. 구조 변환 (Deterministic 자동화)
Zeppelin 노트북의 일부 요소는 규칙 기반으로 변환할 수 있다.
Zeppelin의 paragraph를 Databricks 노트북 셀로 변환
interpreter 문법 변환
메타데이터 형식 정리
이러한 작업은 반복적이고 예측 가능하기 때문에 생성형 AI 대신 자동화 코드로 처리하는 것이 더 안정적이다.
2. 분석 로직 재구성 (AI 보조)
문제의 핵심은 노트북 내부의 데이터 처리 로직과 분석 의도였다. 이 부분은 단순 번역이 아니라 의미 해석이 필요하다.
그래서 시스템은 Databricks의 AI 기능인 Databricks Genie에 전달할 컨텍스트 기반 프롬프트를 자동으로 생성한다. 이를 통해 사용자는 AI 도움을 받아 노트북의 분석 로직을 Databricks 환경에 맞게 다시 작성한다.
이 방식의 특징은 완전 자동화 대신 인간 검증을 포함한 AI 보조 모델이라는 점이다.
Databricks App 아키텍처
도구는 별도의 외부 프로그램이 아니라 Databricks App 형태로 만들어졌다. 즉, 사용자는 Databricks 환경 내부에서 바로 마이그레이션 작업을 진행할 수 있다.
전체 구조는 다음과 같은 구성 요소로 이루어졌다.
노트북 이전 과정을 안내하는 사용자 인터페이스
Zeppelin 노트북 구조를 자동 변환하는 처리 엔진
AI 프롬프트 생성 시스템
분석가가 결과를 검증하는 Human‑in‑the‑loop 단계
이 구조 덕분에 엔지니어뿐 아니라 업무 분석가들도 자신의 노트북을 직접 이전할 수 있었고, 동시에 중앙 거버넌스를 유지할 수 있었다.
실제 마이그레이션 워크플로
프로세스는 일반적으로 네 단계로 진행됐다.
노트북 업로드
사용자가 Zeppelin 노트북을 export해 Databricks App에 업로드한다.
구조 자동 변환
시스템이 노트북의 paragraph 구조, interpreter 구문, 메타데이터를 Databricks 형식으로 자동 변환한다.
AI 기반 로직 재구성
노트북 맥락을 기반으로 생성된 프롬프트를 통해 Databricks Genie가 분석 로직 재작성 과정을 지원한다.
사용자 검증 및 마무리
분석가가 결과를 검토하고 수정하여 실제 업무 로직이 정확히 유지되도록 한다.
이 과정은 자동화 + 생성형 AI + 인간 검증을 결합한 하이브리드 워크플로다.
실제로 얼마나 시간을 절약했나
도이체뵈르제에 따르면 기존에는 노트북 하나를 새 환경에서 다시 만드는 데 수 시간이 걸렸다.
새 도구를 사용하면 노트북 하나당 약 15~20분이면 재개발이 가능해졌다.
2,000개 이상의 노트북을 기준으로 계산하면 다음과 같은 규모다.
약 500~667시간 정도의 재개발 작업
수작업 방식이라면 수천 시간 규모가 필요했을 가능성
정확한 총 절감 시간은 공개되지 않았지만, 작업 단위가 “시간 → 수십 분”으로 줄어든 것은 상당한 생산성 향상이다.
왜 현실적인 GenAI 사례로 평가되나
많은 기업의 생성형 AI 프로젝트는 실험 단계에 머무르지만, 이 사례는 명확한 운영 문제를 해결한 프로젝트라는 점에서 주목된다.
이 접근 방식이 실용적인 이유는 다음과 같다.
범위를 명확히 한 프로젝트: 레거시 노트북 마이그레이션이라는 구체적 문제 해결
하이브리드 자동화: 규칙 기반 작업과 AI 작업을 분리
인간 검증 유지: 금융 규제 환경에서 중요한 통제 유지
즉, AI가 모든 코드를 자동 생성하는 구조가 아니라 사람이 이해하고 검증할 수 있는 방식으로 설계됐다.
도이체뵈르제의 더 큰 클라우드 전환 전략 속에서
이 프로젝트는 회사의 광범위한 클라우드 전환 전략의 일부이기도 하다.
도이체뵈르제는 Google Cloud 기반으로 핵심 시스템을 재설계하면서 다음과 같은 성과를 보고했다.
총소유비용(TCO) 약 33% 절감
60개 이상의 애플리케이션 이전
핵심 SAP 시스템의 재해 복구 시간 85% 감소
또한 회사는 전체 워크로드의 50% 이상을 이미 클라우드에서 운영하고 있다고 밝히며 클라우드 중심 데이터 인프라 전략을 강화하고 있다.
이러한 전환에서 분석 노트북과 같은 데이터 자산을 현대화하는 작업은 필수 단계다. 분석 자산이 옛 환경에 묶여 있다면 클라우드 플랫폼의 가치를 제대로 활용할 수 없기 때문이다.
핵심 정리
도이체뵈르제의 사례는 기업 환경에서 생성형 AI를 적용하는 현실적인 모델을 보여준다.
반복적 구조 변환은 기존 자동화로 처리
해석이 필요한 로직은 생성형 AI로 지원
중요한 비즈니스 로직은 사람이 검증
이 전략 덕분에 2,000개 이상의 분석 노트북 이전이라는 대형 프로젝트가 완전 수작업 대신 반자동화 워크플로로 전환되었고, 노트북 하나당 재개발 시간을 몇 시간에서 15~20분 수준으로 줄일 수 있었다.
cloud.google.comDeutsche Börse Group case study | Google Cloud