德意志交易所的GenAI数据平台迁移：2000+ Zeppelin笔记本如何被快速重建

大规模数据平台迁移往往并不是因为基础设施问题而失败，而是因为隐藏在系统中的大量分析资产——例如数千个数据分析笔记本——需要逐个重建。德意志交易所（Deutsche Börse）在将平台从 Cloudera 迁移到 Databricks 时，就遇到了这个典型难题：超过2000个 Apache Zeppelin 笔记本必须在旧环境退役前完成迁移。

与其尝试用一次性AI代码转换来“自动翻译”全部笔记本，他们的 StatistiX 团队采用了一个更务实的设计：把问题拆成两部分——结构转换与逻辑重建。前者使用确定性自动化处理，后者由生成式AI辅助，并由人类审核完成。

为什么必须迁移

迁移的直接原因是 Cloudera 生态中 Zeppelin 环境逐步退役。官方文档显示，Zeppelin 已在较新的 Cloudera Runtime 中被弃用并停止支持，继续依赖该环境存在长期风险。

对于德意志交易所来说，问题不只是技术升级，而是规模：

• 超过 2,000 个 Zeppelin 笔记本
• 多年积累的数据分析流程与业务逻辑
• 分散在多个团队和用户手中

如果完全人工重建，每个笔记本都需要工程师重新理解、重写并验证代码，整体工作量将非常巨大。

核心设计思路：结构与逻辑分离

团队很早就发现，用一个AI提示直接把整个笔记本转换成新代码既不可靠也难以控制。因此，他们把迁移拆分为两类完全不同的任务。

1. 结构转换（确定性自动化）

Zeppelin 笔记本的许多元素其实是机械性的，例如：

• 将 Zeppelin 的 paragraph 结构映射为 Databricks 的 notebook cells
• 转换 interpreter 语法
• 重新组织 notebook 元数据

这些都是规则明确的操作，因此可以通过脚本和自动化代码处理，而不需要生成式AI。

2. 逻辑重建（AI辅助）

真正复杂的部分是笔记本里的分析逻辑，例如：

• 数据转换流程
• 业务规则
• 分析意图

这些内容往往依赖上下文和领域知识，很难直接自动转换。因此，团队使用生成式AI来帮助用户理解并重建逻辑。

系统会自动生成上下文提示（context-aware prompts），并通过 Databricks Genie 引导用户一步步重建分析逻辑，同时保留人工验证环节。

这种设计让系统更可靠：

• 结构问题 → 自动化处理
• 解释性逻辑 → AI + 人类协作

自定义 Databricks App 架构

整个迁移工具被封装为一个 Databricks App，意味着用户可以直接在 Databricks 环境中完成迁移流程，而无需额外工具。

主要组件包括：

• 一个用户界面，用于引导笔记本迁移流程
• 自动化模块，负责 Zeppelin 结构转换
• 提示生成系统，为 AI 构建上下文查询
• 人在环（human‑in‑the‑loop）验证机制

这种设计的一个重要好处是：业务用户也可以参与迁移自己的笔记本，而平台团队仍然保持治理和审计能力。

迁移流程：四个步骤

实际迁移通常按照以下流程进行：

1. 导入笔记本
用户导出 Zeppelin 笔记本并上传到 Databricks App。

2. 自动结构转换
系统根据规则将 notebook 外壳转换为 Databricks 格式，例如：

• paragraph → cell
• interpreter 语法转换
• 元数据重排

这些步骤完全自动完成。

3. AI辅助逻辑重建
应用生成上下文提示，引导 Databricks Genie 帮助用户重建分析逻辑。

4. 人工审核与完善
用户最终检查并确认逻辑正确性，以确保业务规则和合规要求被正确保留。

节省了多少时间

在该工具上线前，重建一个笔记本通常需要 数小时 的人工工作。

采用新的流程后：

• 每个笔记本约需 15–20 分钟。

对于 2,000+ 笔记本 的迁移规模来说，大致意味着：

• 新流程总工作量约 500–667 小时
• 若完全人工重建，则可能需要 数千小时

虽然官方没有公布确切的总节省时间，但从“数小时”到“十几分钟”的变化已经意味着显著的效率提升。

为什么这是一个典型的“务实型 GenAI 应用”

许多生成式AI项目难以落地，因为目标过于宏大或缺乏明确ROI。德意志交易所的案例之所以受到关注，是因为它具备几个典型特征：

• 问题边界清晰：专注于迁移遗留笔记本这一具体任务
• 混合自动化架构：规则处理确定性问题，AI处理解释性问题
• 人工参与关键环节：确保金融行业所需的可控性与合规性

这种模式避免了“完全自动代码生成”的风险，同时仍然获得显著效率收益。

更大的背景：德意志交易所的云转型

此次笔记本迁移也是德意志交易所整体技术转型的一部分。该集团近年来持续推进云基础设施和数据平台现代化。

例如，公司曾在 Google Cloud 上重新构建 DAX 指数系统，实现了：

• 总体拥有成本降低 33%
• 迁移超过 60 个应用
• 关键 SAP 系统灾难恢复时间缩短 85%

此外，公司还宣布其 超过50%的工作负载已运行在云环境中，标志着云战略的重要里程碑。

在这样的背景下，像分析笔记本这样的数据资产如果不完成现代化迁移，云平台的价值就难以完全发挥。

关键启示

德意志交易所的实践提供了一个企业应用生成式AI的清晰模式：

• 用传统软件自动化处理确定性任务
• 用生成式AI辅助理解与重建复杂逻辑
• 在关键业务环节保留人工审核

通过将这些能力整合进一个 Databricks App，原本需要大规模人工重建的迁移项目，被转变为一个半自动化流程——每个笔记本只需十几分钟即可完成重建，同时仍然保持对核心分析逻辑的控制。