德意志交易所用生成式 AI 搬遷 2,000+ 個 Zeppelin Notebook 的實戰案例

大型數據平台遷移最難的，往往唔係基礎設施，而係歷年累積落嚟嘅分析資產——例如 notebook、腳本同商業邏輯。德意志交易所（Deutsche Börse）就遇到呢個典型問題：佢哋需要喺舊平台退役前，將 2,000+ 個 Apache Zeppelin notebooks 由 Cloudera 搬去 Databricks。

與其嘗試用 AI 一次過翻譯整個 notebook（通常效果唔穩定），團隊反而採用一個更務實嘅做法：將「結構轉換」同「邏輯重建」拆開處理。前者用規則式程式自動化，後者再由生成式 AI 協助。

為什麼要搬走 Zeppelin

Cloudera 已經將 Zeppelin notebook 環境列為 deprecated（棄用），而且新版本 runtime 已經唔再支援，意味長期依賴會有風險。

對德意志交易所內部負責數據分析嘅 StatistiX 團隊 來講，問題唔止係技術更新，而係規模：

• 超過 2,000 個 notebooks
• 內含多年累積嘅分析流程
• 包括大量商業邏輯同數據轉換

如果逐個手動重寫，不但需要大量工程時間，亦難以協調不同團隊嘅分析師一齊完成。

關鍵設計：將「結構」同「邏輯」分開

團隊最重要嘅設計決定係：唔用 AI 一次過翻譯整個 notebook，而係拆成兩類完全唔同嘅工作。

1. Notebook 結構轉換（規則式自動化）

Zeppelin notebook 有一啲元素其實好機械式，例如：

• 將 Zeppelin 的 paragraph 轉成 Databricks notebook 的 cell
• 轉換 interpreter 語法
• 重組 metadata

呢啲步驟有清晰規則，所以可以用程式自動完成，而唔需要 AI。

2. 分析與商業邏輯（AI 協助重建）

真正複雜嘅係 notebook 入面嘅分析邏輯，例如：

• 數據轉換流程
• 指標計算
• 分析意圖

呢啲通常需要理解上下文。團隊做法唔係直接改寫，而係利用生成式 AI 生成 context‑aware 提示（prompt），配合 Databricks 的 AI 助手 Genie，協助用戶一步步重建邏輯。

同時仍然保持 human‑in‑the‑loop（人手審核），確保分析結果同業務邏輯正確。

自訂 Databricks App 的架構

整個工具被封裝成一個 Databricks App，即係用戶可以直接喺 Databricks 環境入面完成整個遷移流程，而唔需要另外用外部工具。

主要組件包括：

• 一個引導式 UI，幫用戶逐步遷移 notebook
• 自動化模組負責結構轉換
• Prompt 系統為 AI 生成上下文問題
• 人手驗證機制確保邏輯正確

呢個設計亦有一個好處：分析師可以自己參與遷移，而唔需要完全依賴工程團隊，同時仍然保留治理同審核流程。

實際遷移流程

每個 notebook 大致會經過四個步驟：

1. Notebook 匯入
用戶先將 Zeppelin notebook 匯出，再上載到 Databricks App。

2. 結構自動轉換
系統用預設規則把 notebook 外殼轉成 Databricks 格式，例如 paragraph→cell、interpreter 語法、metadata 等。

3. AI 協助重建邏輯
系統產生帶上下文的 prompt，配合 Databricks Genie，幫助用戶重建分析流程。

4. 人手驗證
分析師最後檢查同完成 notebook，確保業務邏輯、數據定義同合規要求正確。

整體變成一個 自動化 + AI + 人手審核 的混合流程。

節省了多少時間

工具推出之前：

• 重寫一個 notebook 通常需要 幾個鐘

新流程之後：

• 每個 notebook 約 15–20 分鐘 就可以完成。

如果用 2,000 個 notebook 粗略計算：

• 新流程需要約 500–667 小時
• 如果全部手動重寫，可能需要 數千小時

官方未公開總節省時數，但從「幾小時 → 幾十分鐘」嘅差距已經相當明顯。

為什麼這個 GenAI 用例值得留意

好多企業講生成式 AI，但未必真係解決到實際問題。德意志交易所呢個案例比較特別，原因有幾點：

範圍清晰
只針對一個明確任務：遷移 legacy notebook。

混合自動化策略
可預測嘅任務用傳統程式處理，理解型工作再用 AI。

保留人手審核
金融機構需要確保分析邏輯同合規要求，因此唔會完全自動生成程式碼。

背後其實是更大的雲端轉型

Notebook 遷移其實只係德意志交易所整體技術轉型的一部分。公司近年持續把核心系統搬上雲端，例如：

• 在 Google Cloud 上重新設計 DAX 系統
• 總擁有成本降低 33%
• 遷移 60+ 個應用
• SAP 系統災難復原時間 減少 85%

公司亦表示，目前 超過 50% 的工作負載已經在雲端運行。

喺呢種轉型背景之下，如果舊有分析資產（例如 notebooks）唔同步現代化，雲平台本身嘅價值就難以完全發揮。

重點總結

德意志交易所嘅做法展示咗一種比較實際嘅企業 GenAI 模式：

• 規則式任務 → 傳統自動化
• 需要理解嘅部分 → AI 協助
• 關鍵商業邏輯 → 人手把關

透過一個自訂 Databricks App，原本可能要耗費大量人力嘅遷移項目，變成一個半自動流程——每個 notebook 由幾小時縮短到 15–20 分鐘，同時仍然保留對分析邏輯的控制。