GenAI im Praxiseinsatz: Die Migration von 2.000+ Zeppelin‑Notebooks bei der Deutschen Börse
Die Deutsche Börse entwickelte eine eigene Databricks App mit generativer KI, um mehr als 2.000 Apache‑Zeppelin‑Notebooks aus der Cloudera‑Umgebung zu migrieren. Die Lösung trennte strikt zwischen deterministischer Strukturkonvertierung und KI‑unterstützter Rekonstruktion der Analyse‑ und Geschäftslogik.
How did Deutsche Börse use a custom GenAI-powered Databricks App to migrate more than 2,000 Zeppelin notebooks from Cloudera to Databricks aDeutsche Börse used a custom Databricks App combining deterministic conversion and generative AI to migrate thousands of Zeppelin notebooks.
KI-Prompt
Create a landscape editorial hero image for this Studio Global article: How did Deutsche Börse use a custom GenAI-powered Databricks App to migrate more than 2,000 Zeppelin notebooks from Cloudera to Databricks a. Article summary: Deutsche Börse’s StatistiX team built a custom Databricks App to turn a 2,000+ Zeppelin-notebook migration into a semi-automated, AI-assisted workflow: deterministic code handled notebook structure, while GenAI helped us. Topic tags: general, documentation, general web, user generated. Reference image context from search candidates: Reference image 1: visual subject "# Introducing Databricks GenAI Partner Accelerators for Data Engineering & Migration. Speed up data engineering and data migration with GenAI and agentic accelerators built by Data" source context "Introducing Databricks GenAI Partner Accelerators for Data Engineering & Migration | Databricks Blog"
openai.com
Große Datenplattform‑Migrationen scheitern selten an Infrastruktur oder Cloud‑Ressourcen. Häufig sind es tausende analytische Artefakte – Notebooks, Skripte und Pipelines –, die über Jahre gewachsen sind und manuell neu erstellt werden müssten.
Genau dieses Problem hatte die Deutsche Börse. Mehr als 2.000 Apache‑Zeppelin‑Notebooks mussten aus einer Cloudera‑Umgebung in Databricks migriert werden, bevor die alte Plattform außer Betrieb geht. Statt auf eine riskante automatische Komplettübersetzung zu setzen, entwickelte das Unternehmen eine eigene Databricks App mit generativer KI, die die Migration in zwei unterschiedliche Aufgaben aufteilte: strukturelle Konvertierung und KI‑gestützte Rekonstruktion der Logik.
Warum die Migration notwendig war
Ein wichtiger Auslöser war das Ende der Unterstützung für Apache Zeppelin im Cloudera‑Ökosystem. Laut Cloudera‑Dokumentation wurde Zeppelin in neueren Runtime‑Versionen abgekündigt und wird nicht mehr unterstützt, was langfristige Nutzung riskant macht.
Für das StatistiX‑Team der Deutschen Börse bedeutete das eine massive Aufgabe: Über Jahre hatten Analysten und Entwickler tausende Notebooks mit Datenanalysen und Geschäftslogik aufgebaut. Diese manuell neu zu entwickeln hätte enorme Engineering‑Ressourcen erfordert und wäre organisatorisch schwer zu koordinieren gewesen.
Studio Global AI
Search, cite, and publish your own answer
Use this topic as a starting point for a fresh source-backed answer, then compare citations before you share it.
Wie lautet die kurze Antwort auf „GenAI im Praxiseinsatz: Die Migration von 2.000+ Zeppelin‑Notebooks bei der Deutschen Börse“?
Die Deutsche Börse entwickelte eine eigene Databricks App mit generativer KI, um mehr als 2.000 Apache‑Zeppelin‑Notebooks aus der Cloudera‑Umgebung zu migrieren.
Was sind die wichtigsten Punkte, die zuerst validiert werden müssen?
Die Deutsche Börse entwickelte eine eigene Databricks App mit generativer KI, um mehr als 2.000 Apache‑Zeppelin‑Notebooks aus der Cloudera‑Umgebung zu migrieren. Die Lösung trennte strikt zwischen deterministischer Strukturkonvertierung und KI‑unterstützter Rekonstruktion der Analyse‑ und Geschäftslogik.
Was soll ich als nächstes in der Praxis tun?
Die Entwicklungszeit pro Notebook sank von mehreren Stunden auf etwa 15–20 Minuten, was bei 2.000 Notebooks hunderte bis tausende Arbeitsstunden einsparen kann.
Der entscheidende Designschritt bestand darin, zwei grundsätzlich unterschiedliche Problemtypen zu unterscheiden.
Deterministische Strukturkonvertierung
Ein Teil eines Zeppelin‑Notebooks lässt sich regelbasiert transformieren. Dazu gehören unter anderem:
Umwandlung von Zeppelin‑Paragraphen in Databricks‑Notebook‑Zellen
Übersetzung der Interpreter‑Syntax
Anpassung von Metadaten
Diese Schritte sind mechanisch und vorhersehbar und konnten daher mit deterministischem Code automatisiert werden, ohne generative KI einzusetzen.
Rekonstruktion der Geschäftslogik mit KI
Die eigentliche Schwierigkeit liegt in der Analyse‑ und Geschäftslogik innerhalb der Notebooks: Datenumformungen, Analyseabsichten und domänenspezifische Berechnungen.
Hier setzte die Lösung auf generative KI. Die App erzeugt kontextbezogene Prompts für Databricks Genie, die Anwendern helfen, die ursprüngliche Logik und Intention eines Notebook‑Schritts zu rekonstruieren. Dabei bleibt ein Human‑in‑the‑Loop erhalten: Analysten prüfen und bestätigen jede rekonstruierte Logik.
Diese Aufteilung erhöht die Zuverlässigkeit: Regeln automatisieren das, was eindeutig ist – KI hilft dort, wo Interpretation erforderlich ist.
Architektur der Databricks App
Die Migration wurde als Databricks App implementiert. Nutzer konnten den gesamten Prozess direkt in der Databricks‑Umgebung ausführen, statt ein separates Migrationstool zu verwenden.
Die Architektur bestand im Kern aus vier Komponenten:
einer Benutzeroberfläche, die Anwender Schritt für Schritt durch die Migration führt
einer automatisierten Pipeline für die strukturelle Notebook‑Konvertierung
einem Prompt‑System für kontextbezogene KI‑Anfragen
einer Validierungsschicht mit menschlicher Kontrolle
So konnten Fachanwender ihre eigenen Notebooks migrieren, während Governance‑ und Kontrollmechanismen erhalten blieben.
Der typische Migrations‑Workflow
Der Prozess verlief meist in vier Schritten:
Notebook‑Import
Anwender exportieren ihre Zeppelin‑Notebooks und laden sie in die Databricks App hoch.
Automatische Strukturkonvertierung
Regeln wandeln Notebook‑Struktur, Interpreter‑Syntax und Metadaten in ein Databricks‑kompatibles Format um.
KI‑gestützte Logikrekonstruktion
Die App generiert kontextbezogene Prompts für Databricks Genie, um die ursprüngliche Analyse‑ oder Geschäftslogik neu aufzubauen.
Validierung durch Nutzer
Anwender überprüfen das Ergebnis und stellen sicher, dass Logik, Compliance‑Anforderungen und Fachwissen korrekt übernommen wurden.
Das Ergebnis ist ein hybrider Prozess aus Automatisierung, generativer KI und menschlicher Kontrolle.
Wie viel Zeit die Lösung spart
Vor der Einführung des Tools dauerte die Neuerstellung eines Notebooks typischerweise mehrere Stunden.
Mit der neuen Lösung dauert der Prozess nur noch etwa 15–20 Minuten pro Notebook.
Bei über 2.000 Notebooks bedeutet das:
etwa 500–667 Stunden Entwicklungsarbeit im neuen Workflow
gegenüber mehreren tausend Stunden, wenn jedes Notebook vollständig manuell neu erstellt worden wäre
Eine exakte Gesamtersparnis hat die Deutsche Börse nicht veröffentlicht, doch der Wechsel von Stunden zu Minuten pro Notebook zeigt den erheblichen Produktivitätsgewinn.
Warum dieses Projekt als praktischer GenAI‑Use‑Case gilt
Viele KI‑Projekte bleiben experimentell oder liefern schwer messbaren Mehrwert. Die Notebook‑Migration der Deutschen Börse ist anders, weil sie ein konkretes, kostspieliges Engineering‑Problem adressiert.
Drei Aspekte stechen hervor:
klar abgegrenzter Anwendungsfall – Migration von Legacy‑Notebooks
hybride Automatisierung – Regeln für deterministische Aufgaben, KI für Interpretation
Human‑in‑the‑Loop – entscheidend für regulierte Finanzumgebungen
So vermeidet die Lösung die Risiken einer vollständig automatisierten Code‑Generierung und erzielt dennoch deutliche Effizienzgewinne.
Teil einer größeren Cloud‑Transformation
Die Notebook‑Migration ist Teil einer umfassenderen Modernisierung der IT‑Landschaft der Deutschen Börse.
Der Konzern verlagert zunehmend Systeme in die Cloud und baut seine Daten‑ und Analyseplattformen aus. Beispielsweise wurden zentrale Systeme rund um den DAX‑Index auf Google Cloud neu aufgebaut, mit Ergebnissen wie 33 % geringeren Gesamtbetriebskosten, Migration von über 60 Anwendungen und einer um 85 % schnelleren Disaster‑Recovery für kritische SAP‑Systeme.
Zudem meldete die Deutsche Börse, dass inzwischen mehr als 50 % der Workloads in der Cloud laufen – ein wichtiger Schritt für Skalierbarkeit, Resilienz und Innovation im Finanzsektor.
Gerade analytische Artefakte wie Notebooks sind dabei ein entscheidender Baustein: Ohne ihre Modernisierung können neue Cloud‑Plattformen ihr volles Potenzial kaum entfalten.
Fazit
Die Deutsche Börse zeigt mit diesem Projekt, wie generative KI sinnvoll in Unternehmens‑Engineering integriert werden kann:
klassische Automatisierung für deterministische Aufgaben
GenAI für interpretative Arbeit
menschliche Kontrolle für geschäftskritische Logik
Durch diese Kombination wurde eine potenziell jahrelange Migration zu einem skalierbaren, halbautomatisierten Workflow, der die Entwicklungszeit pro Notebook von Stunden auf Minuten reduziert.
deutsche-boerse.comDeutsche Börse celebrates important milestone in cloud ...
Comments
0 comments