なぜ移行が必要だったのか

背景にあるのは、Cloudera環境におけるApache Zeppelinの廃止です。Clouderaの公式ドキュメントでは、Zeppelinは新しいランタイムではサポートされない非推奨コンポーネントになっています。

Deutsche Börseのデータ分析チーム（StatistiX）は、長年にわたり蓄積された分析ワークフローを多数のZeppelinノートブックで運用していました。これらには業務ロジックやデータ変換処理が深く埋め込まれており、単純な移行では済みません。

設計の核心：構造とロジックを分離

チームが採用したアプローチはシンプルです。

**「構造は自動化、意味はAI＋人間で再構築」**という役割分担です。

1. 構造変換（ルールベース自動化）

Zeppelinノートブックの多くの要素は、機械的に変換できます。例えば次のような部分です。

• Zeppelinのパラグラフ構造 → Databricksのセル
• Interpreter構文の変換
• メタデータのフォーマット変更

これらは決定論的なルールで処理できるため、生成AIではなく通常のコードで自動変換されます。

2. ロジック再構築（GenAI支援）

難しいのは、ノートブック内部の分析ロジックです。

• ビジネスルール
• データ変換ロジック
• 分析の意図

こうした部分は完全自動変換が難しいため、アプリはDatabricks Genie向けのコンテキスト付きプロンプトを生成し、ユーザーがAIの助けを借りてロジックを再構築できる仕組みにしました。

つまり、AIは「翻訳エンジン」ではなく、再構築を支援するアシスタントとして使われています。

Databricksアプリとしてのアーキテクチャ

移行ツールはDatabricks Appとして構築されました。これによりユーザーは外部ツールではなく、Databricks環境内から直接移行作業を進められます。

主な構成は次の通りです。

• ノートブック移行をガイドするUI
• Zeppelin構造を変換する自動処理
• AI用のコンテキスト生成・プロンプト生成
• 人間による最終確認（human‑in‑the‑loop）

この設計により、分析担当者自身がノートブックを移行しつつ、組織としてのガバナンスも維持できます。

実際の移行ワークフロー

典型的な移行プロセスは次の4段階です。

1. ノートブック取り込み
ユーザーがZeppelinノートブックをエクスポートし、Databricksアプリにアップロードします。

2. 構造変換
ルールベースの自動処理がノートブックの骨格をDatabricks形式へ変換します。

3. AI支援によるロジック再構築
アプリが生成するコンテキスト付きプロンプトを使い、Databricks Genieと共に分析ロジックを再作成します。

4. 人間による確認
最終的にユーザーが結果を検証し、正確性や業務要件を確認します。

作業時間はどれくらい短縮されたのか

導入前は、1つのノートブックを再開発するのに数時間かかっていました。

新しいワークフローでは、約15〜20分で再構築できるようになっています。

2,000ノートブックの場合、単純計算では

• 新方式：約500〜667時間
• 手作業：数千時間規模

となり、大幅な生産性向上が見込まれます。

なぜこの事例が重要なのか

生成AIの企業導入では、「PoC止まり」のプロジェクトも多いのが実情です。

しかしこの取り組みは、明確な業務ボトルネックを解決する実用例として注目されています。

特徴は次の3点です。

• 自動化できる部分を明確に限定
• AIは解釈が必要な部分にのみ利用
• 人間による検証を必須にする

完全自動化ではなく、AI＋ソフトウェア＋人間のハイブリッド設計にしたことが成功の鍵でした。

クラウド移行戦略の一部

このプロジェクトは、Deutsche Börseの大規模クラウド移行の一環でもあります。

同社はGoogle Cloud上でDAX関連システムを再設計し、以下の成果を報告しています。

• 総所有コスト（TCO）33%削減
• 60以上のアプリケーション移行
• SAPシステムの災害復旧時間を85%短縮

さらに同社は、全ワークロードの50%以上がクラウドで稼働する段階に到達しています。

分析ノートブックのような資産を近代化しなければ、クラウド基盤の価値は十分に引き出せません。今回の移行は、そのギャップを埋める重要な工程でした。

まとめ

Deutsche Börseのケースは、企業における生成AI活用の現実的なモデルを示しています。

• 構造的な作業は従来ソフトウェアで自動化
• 解釈が必要な部分のみ生成AIを活用
• 最終判断は人間が行う

このアプローチにより、数千時間規模の移行作業を半自動化しながら、金融機関に不可欠なガバナンスと正確性を維持することができました。

なぜ移行が必要だったのか

背景にあるのは、Cloudera環境におけるApache Zeppelinの廃止です。Clouderaの公式ドキュメントでは、Zeppelinは新しいランタイムではサポートされない非推奨コンポーネントになっています。

Deutsche Börseのデータ分析チーム（StatistiX）は、長年にわたり蓄積された分析ワークフローを多数のZeppelinノートブックで運用していました。これらには業務ロジックやデータ変換処理が深く埋め込まれており、単純な移行では済みません。

設計の核心：構造とロジックを分離

チームが採用したアプローチはシンプルです。

**「構造は自動化、意味はAI＋人間で再構築」**という役割分担です。

1. 構造変換（ルールベース自動化）

Zeppelinノートブックの多くの要素は、機械的に変換できます。例えば次のような部分です。

• Zeppelinのパラグラフ構造 → Databricksのセル
• Interpreter構文の変換
• メタデータのフォーマット変更

これらは決定論的なルールで処理できるため、生成AIではなく通常のコードで自動変換されます。

2. ロジック再構築（GenAI支援）

難しいのは、ノートブック内部の分析ロジックです。

• ビジネスルール
• データ変換ロジック
• 分析の意図

こうした部分は完全自動変換が難しいため、アプリはDatabricks Genie向けのコンテキスト付きプロンプトを生成し、ユーザーがAIの助けを借りてロジックを再構築できる仕組みにしました。

つまり、AIは「翻訳エンジン」ではなく、再構築を支援するアシスタントとして使われています。

Databricksアプリとしてのアーキテクチャ

移行ツールはDatabricks Appとして構築されました。これによりユーザーは外部ツールではなく、Databricks環境内から直接移行作業を進められます。

主な構成は次の通りです。

• ノートブック移行をガイドするUI
• Zeppelin構造を変換する自動処理
• AI用のコンテキスト生成・プロンプト生成
• 人間による最終確認（human‑in‑the‑loop）

この設計により、分析担当者自身がノートブックを移行しつつ、組織としてのガバナンスも維持できます。

実際の移行ワークフロー

典型的な移行プロセスは次の4段階です。

1. ノートブック取り込み
ユーザーがZeppelinノートブックをエクスポートし、Databricksアプリにアップロードします。

2. 構造変換
ルールベースの自動処理がノートブックの骨格をDatabricks形式へ変換します。

3. AI支援によるロジック再構築
アプリが生成するコンテキスト付きプロンプトを使い、Databricks Genieと共に分析ロジックを再作成します。

4. 人間による確認
最終的にユーザーが結果を検証し、正確性や業務要件を確認します。

作業時間はどれくらい短縮されたのか

導入前は、1つのノートブックを再開発するのに数時間かかっていました。

新しいワークフローでは、約15〜20分で再構築できるようになっています。

2,000ノートブックの場合、単純計算では

• 新方式：約500〜667時間
• 手作業：数千時間規模

となり、大幅な生産性向上が見込まれます。

なぜこの事例が重要なのか

生成AIの企業導入では、「PoC止まり」のプロジェクトも多いのが実情です。

しかしこの取り組みは、明確な業務ボトルネックを解決する実用例として注目されています。

特徴は次の3点です。

• 自動化できる部分を明確に限定
• AIは解釈が必要な部分にのみ利用
• 人間による検証を必須にする

完全自動化ではなく、AI＋ソフトウェア＋人間のハイブリッド設計にしたことが成功の鍵でした。

クラウド移行戦略の一部

このプロジェクトは、Deutsche Börseの大規模クラウド移行の一環でもあります。

同社はGoogle Cloud上でDAX関連システムを再設計し、以下の成果を報告しています。

• 総所有コスト（TCO）33%削減
• 60以上のアプリケーション移行
• SAPシステムの災害復旧時間を85%短縮

さらに同社は、全ワークロードの50%以上がクラウドで稼働する段階に到達しています。

分析ノートブックのような資産を近代化しなければ、クラウド基盤の価値は十分に引き出せません。今回の移行は、そのギャップを埋める重要な工程でした。

まとめ

Deutsche Börseのケースは、企業における生成AI活用の現実的なモデルを示しています。

• 構造的な作業は従来ソフトウェアで自動化
• 解釈が必要な部分のみ生成AIを活用
• 最終判断は人間が行う

このアプローチにより、数千時間規模の移行作業を半自動化しながら、金融機関に不可欠なガバナンスと正確性を維持することができました。