À l’intérieur de la migration de 2 000+ notebooks Zeppelin de Deutsche Börse avec l’IA générative
Deutsche Börse a développé une application Databricks intégrant l’IA générative pour migrer plus de 2 000 notebooks Apache Zeppelin depuis Cloudera vers Databricks. La solution sépare la conversion structurelle automatisée (déterministe) de la reconstruction de logique analytique assistée par IA, avec validation hum...
Deutsche Börse a développé une application Databricks intégrant l’IA générative pour migrer plus de 2 000 notebooks Apache Zeppelin depuis Cloudera vers Databricks.
La solution sépare la conversion structurelle automatisée (déterministe) de la reconstruction de logique analytique assistée par IA, avec validation humaine.
Le temps de migration est passé de plusieurs heures à environ 15–20 minutes par notebook, soit environ 500–667 heures pour l’ensemble des 2 000 notebooks.
How did Deutsche Börse use a custom GenAI-powered Databricks App to migrate more than 2,000 Zeppelin notebooks from Cloudera to Databricks aDeutsche Börse used a custom Databricks App combining deterministic conversion and generative AI to migrate thousands of Zeppelin notebooks.
Prompt IA
Create a landscape editorial hero image for this Studio Global article: How did Deutsche Börse use a custom GenAI-powered Databricks App to migrate more than 2,000 Zeppelin notebooks from Cloudera to Databricks a. Article summary: Deutsche Börse’s StatistiX team built a custom Databricks App to turn a 2,000+ Zeppelin-notebook migration into a semi-automated, AI-assisted workflow: deterministic code handled notebook structure, while GenAI helped us. Topic tags: general, documentation, general web, user generated. Reference image context from search candidates: Reference image 1: visual subject "# Introducing Databricks GenAI Partner Accelerators for Data Engineering & Migration. Speed up data engineering and data migration with GenAI and agentic accelerators built by Data" source context "Introducing Databricks GenAI Partner Accelerators for Data Engineering & Migration | Databricks Blog"
openai.com
Les migrations de plateformes data à grande échelle échouent rarement à cause de l’infrastructure elle‑même. Le véritable obstacle vient souvent des milliers d’artefacts analytiques — notebooks, scripts et workflows — accumulés au fil des années.
C’est précisément le défi auquel s’est confronté Deutsche Börse, l’opérateur de la Bourse de Francfort. L’entreprise devait migrer plus de 2 000 notebooks Apache Zeppelin depuis un environnement Cloudera vers Databricks, avant la mise hors service prévue de Zeppelin dans cet écosystème. Plutôt que de tenter une traduction automatique risquée du code, l’équipe a construit une application Databricks alimentée par l’IA générative qui combine automatisation et intervention humaine.
Studio Global AI
Continuez vos recherches
Cette page comprend une réponse basée sur la source que vous pouvez continuer dans Studio Global.
Quelle est la réponse courte à « À l’intérieur de la migration de 2 000+ notebooks Zeppelin de Deutsche Börse avec l’IA générative » ?
Deutsche Börse a développé une application Databricks intégrant l’IA générative pour migrer plus de 2 000 notebooks Apache Zeppelin depuis Cloudera vers Databricks.
Quels sont les points clés à valider en premier ?
Deutsche Börse a développé une application Databricks intégrant l’IA générative pour migrer plus de 2 000 notebooks Apache Zeppelin depuis Cloudera vers Databricks. La solution sépare la conversion structurelle automatisée (déterministe) de la reconstruction de logique analytique assistée par IA, avec validation humaine.
Que dois-je faire ensuite en pratique ?
Le temps de migration est passé de plusieurs heures à environ 15–20 minutes par notebook, soit environ 500–667 heures pour l’ensemble des 2 000 notebooks.
À l’intérieur de la migration de 2 000+ notebooks Zeppelin de Deutsche Börse avec l’IA générative
Deutsche Börse a développé une application Databricks intégrant l’IA générative pour migrer plus de 2 000 notebooks Apache Zeppelin depuis Cloudera vers Databricks. La solution sépare la conversion structurelle automatisée (déterministe) de la reconstruction de logique analytique assistée par IA, avec validation hum...
Deutsche Börse a développé une application Databricks intégrant l’IA générative pour migrer plus de 2 000 notebooks Apache Zeppelin depuis Cloudera vers Databricks.
La solution sépare la conversion structurelle automatisée (déterministe) de la reconstruction de logique analytique assistée par IA, avec validation humaine.
Le temps de migration est passé de plusieurs heures à environ 15–20 minutes par notebook, soit environ 500–667 heures pour l’ensemble des 2 000 notebooks.
How did Deutsche Börse use a custom GenAI-powered Databricks App to migrate more than 2,000 Zeppelin notebooks from Cloudera to Databricks aDeutsche Börse used a custom Databricks App combining deterministic conversion and generative AI to migrate thousands of Zeppelin notebooks.
Prompt IA
Create a landscape editorial hero image for this Studio Global article: How did Deutsche Börse use a custom GenAI-powered Databricks App to migrate more than 2,000 Zeppelin notebooks from Cloudera to Databricks a. Article summary: Deutsche Börse’s StatistiX team built a custom Databricks App to turn a 2,000+ Zeppelin-notebook migration into a semi-automated, AI-assisted workflow: deterministic code handled notebook structure, while GenAI helped us. Topic tags: general, documentation, general web, user generated. Reference image context from search candidates: Reference image 1: visual subject "# Introducing Databricks GenAI Partner Accelerators for Data Engineering & Migration. Speed up data engineering and data migration with GenAI and agentic accelerators built by Data" source context "Introducing Databricks GenAI Partner Accelerators for Data Engineering & Migration | Databricks Blog"
openai.com
Les migrations de plateformes data à grande échelle échouent rarement à cause de l’infrastructure elle‑même. Le véritable obstacle vient souvent des milliers d’artefacts analytiques — notebooks, scripts et workflows — accumulés au fil des années.
C’est précisément le défi auquel s’est confronté Deutsche Börse, l’opérateur de la Bourse de Francfort. L’entreprise devait migrer plus de 2 000 notebooks Apache Zeppelin depuis un environnement Cloudera vers Databricks, avant la mise hors service prévue de Zeppelin dans cet écosystème. Plutôt que de tenter une traduction automatique risquée du code, l’équipe a construit une application Databricks alimentée par l’IA générative qui combine automatisation et intervention humaine.
Studio Global AI
Continuez vos recherches
Cette page comprend une réponse basée sur la source que vous pouvez continuer dans Studio Global.
Quelle est la réponse courte à « À l’intérieur de la migration de 2 000+ notebooks Zeppelin de Deutsche Börse avec l’IA générative » ?
Deutsche Börse a développé une application Databricks intégrant l’IA générative pour migrer plus de 2 000 notebooks Apache Zeppelin depuis Cloudera vers Databricks.
Quels sont les points clés à valider en premier ?
Deutsche Börse a développé une application Databricks intégrant l’IA générative pour migrer plus de 2 000 notebooks Apache Zeppelin depuis Cloudera vers Databricks. La solution sépare la conversion structurelle automatisée (déterministe) de la reconstruction de logique analytique assistée par IA, avec validation humaine.
Que dois-je faire ensuite en pratique ?
Le temps de migration est passé de plusieurs heures à environ 15–20 minutes par notebook, soit environ 500–667 heures pour l’ensemble des 2 000 notebooks.
La migration est liée à l’évolution de l’écosystème Cloudera. La documentation officielle indique que l’environnement de notebooks Apache Zeppelin est désormais déprécié et n’est plus pris en charge dans les versions récentes du runtime. Continuer à s’appuyer sur cette technologie devenait donc risqué à long terme.
Pour l’équipe StatistiX de Deutsche Börse, l’ampleur du problème était considérable. Les notebooks contenaient des années de logique analytique, de transformations de données et de scripts métier. Les reconstruire manuellement aurait demandé des milliers d’heures d’ingénierie et une coordination complexe entre équipes.
L’idée clé : séparer structure et logique
Au lieu d’utiliser l’IA pour traduire chaque notebook en une seule fois, l’équipe a adopté une approche plus robuste : dissocier deux types de tâches fondamentalement différents.
1. Conversion structurelle (déterministe)
Certains éléments d’un notebook Zeppelin sont mécaniques et prévisibles. Ils peuvent être convertis automatiquement par des règles logicielles classiques.
Par exemple :
transformation des paragraphs Zeppelin en cellules Databricks
traduction de la syntaxe des interpréteurs
conversion et reformatage des métadonnées
Comme ces transformations suivent des règles fixes, elles peuvent être automatisées sans IA générative.
2. Reconstruction de la logique (assistée par IA)
La partie difficile concerne la logique analytique et métier à l’intérieur des notebooks. Comprendre l’intention d’un analyste ou d’un pipeline de données ne se réduit pas à convertir du code ligne par ligne.
La solution développée par Deutsche Börse génère donc des prompts contextuels pour Databricks Genie, qui aident les utilisateurs à reconstruire l’intention et les étapes analytiques dans l’environnement Databricks. Les analystes restent impliqués pour valider le résultat.
Ce modèle hybride améliore la fiabilité :
l’automatisation gère la structure
l’IA aide à interpréter
les humains valident la logique métier
Architecture de l’application Databricks
L’outil a été conçu comme une Databricks App, c’est‑à‑dire une application exécutée directement dans l’environnement Databricks plutôt qu’un outil externe.
L’architecture comprend notamment :
une interface guidant les utilisateurs dans la migration
un moteur de conversion automatisée pour la structure des notebooks
un système de génération de prompts pour l’assistance IA
une validation humaine pour garantir la conformité et la logique métier
Cette conception permet même à des utilisateurs métier de migrer leurs propres notebooks tout en conservant un cadre de gouvernance.
Le workflow de migration
Le processus typique comporte quatre étapes.
1. Import des notebooks
Les utilisateurs exportent leurs notebooks Zeppelin puis les importent dans l’application Databricks.
2. Conversion structurelle automatique
Le système transforme la structure du notebook — paragraphes, syntaxe d’interpréteur, métadonnées — en un notebook compatible Databricks.
3. Reconstruction assistée par IA
Des prompts contextuels sont générés pour guider la recréation de la logique analytique avec Databricks et Genie.
4. Validation humaine
Les utilisateurs vérifient et finalisent le notebook afin d’assurer l’exactitude des calculs et la conformité réglementaire.
Le résultat est un workflow hybride combinant automatisation, IA générative et supervision humaine.
Un gain de temps massif
Avant l’outil, recréer un notebook demandait plusieurs heures de travail manuel.
Avec la nouvelle application, l’opération prend environ 15 à 20 minutes par notebook.
À l’échelle de la migration :
environ 500 à 667 heures de travail pour 2 000 notebooks
contre plusieurs milliers d’heures dans un scénario entièrement manuel
Même si le total exact n’a pas été publié, le passage de plusieurs heures à quelques minutes par notebook représente un gain de productivité majeur.
Pourquoi c’est un cas d’usage GenAI crédible
De nombreux projets d’IA générative peinent à démontrer un impact concret. Cette initiative se distingue parce qu’elle cible un problème opérationnel précis et coûteux : la migration d’actifs analytiques historiques.
Plusieurs éléments expliquent son succès :
périmètre clair : migration de notebooks existants
automatisation hybride : règles logicielles pour les tâches prévisibles, IA pour l’interprétation
contrôle humain : indispensable dans un environnement financier réglementé
L’IA n’est donc pas utilisée comme substitut complet aux ingénieurs, mais comme outil d’assistance pour accélérer un travail complexe.
Un élément d’une transformation cloud plus large
Cette migration s’inscrit dans une stratégie plus vaste de modernisation technologique chez Deutsche Börse.
L’entreprise a notamment reconstruit des systèmes critiques comme l’infrastructure du DAX sur Google Cloud, avec plusieurs résultats mesurables :
33 % de réduction du coût total de possession
plus de 60 applications migrées
85 % de réduction du temps de reprise après incident pour certains systèmes SAP.
Le groupe indique également que plus de 50 % de ses charges de travail fonctionnent désormais dans le cloud, signe d’une transformation profonde de son infrastructure data et analytique.
Dans ce contexte, moderniser les notebooks et les actifs analytiques est essentiel : sans cette étape, les nouvelles plateformes cloud ne peuvent pas délivrer tout leur potentiel.
Ce qu’il faut retenir
Le projet de Deutsche Börse illustre une approche pragmatique de l’IA générative dans l’ingénierie d’entreprise :
automatiser les tâches déterministes avec des logiciels classiques
utiliser l’IA générative pour interpréter et reconstruire la logique
maintenir une validation humaine pour les décisions critiques
En intégrant ces éléments dans une application Databricks dédiée, l’entreprise a transformé une migration potentiellement massive et manuelle en workflow semi‑automatisé, réduisant le temps de reconstruction à quelques minutes par notebook tout en conservant la maîtrise de la logique analytique.
cloud.google.comDeutsche Börse Group case study | Google Cloud
La migration est liée à l’évolution de l’écosystème Cloudera. La documentation officielle indique que l’environnement de notebooks Apache Zeppelin est désormais déprécié et n’est plus pris en charge dans les versions récentes du runtime. Continuer à s’appuyer sur cette technologie devenait donc risqué à long terme.
Pour l’équipe StatistiX de Deutsche Börse, l’ampleur du problème était considérable. Les notebooks contenaient des années de logique analytique, de transformations de données et de scripts métier. Les reconstruire manuellement aurait demandé des milliers d’heures d’ingénierie et une coordination complexe entre équipes.
L’idée clé : séparer structure et logique
Au lieu d’utiliser l’IA pour traduire chaque notebook en une seule fois, l’équipe a adopté une approche plus robuste : dissocier deux types de tâches fondamentalement différents.
1. Conversion structurelle (déterministe)
Certains éléments d’un notebook Zeppelin sont mécaniques et prévisibles. Ils peuvent être convertis automatiquement par des règles logicielles classiques.
Par exemple :
transformation des paragraphs Zeppelin en cellules Databricks
traduction de la syntaxe des interpréteurs
conversion et reformatage des métadonnées
Comme ces transformations suivent des règles fixes, elles peuvent être automatisées sans IA générative.
2. Reconstruction de la logique (assistée par IA)
La partie difficile concerne la logique analytique et métier à l’intérieur des notebooks. Comprendre l’intention d’un analyste ou d’un pipeline de données ne se réduit pas à convertir du code ligne par ligne.
La solution développée par Deutsche Börse génère donc des prompts contextuels pour Databricks Genie, qui aident les utilisateurs à reconstruire l’intention et les étapes analytiques dans l’environnement Databricks. Les analystes restent impliqués pour valider le résultat.
Ce modèle hybride améliore la fiabilité :
l’automatisation gère la structure
l’IA aide à interpréter
les humains valident la logique métier
Architecture de l’application Databricks
L’outil a été conçu comme une Databricks App, c’est‑à‑dire une application exécutée directement dans l’environnement Databricks plutôt qu’un outil externe.
L’architecture comprend notamment :
une interface guidant les utilisateurs dans la migration
un moteur de conversion automatisée pour la structure des notebooks
un système de génération de prompts pour l’assistance IA
une validation humaine pour garantir la conformité et la logique métier
Cette conception permet même à des utilisateurs métier de migrer leurs propres notebooks tout en conservant un cadre de gouvernance.
Le workflow de migration
Le processus typique comporte quatre étapes.
1. Import des notebooks
Les utilisateurs exportent leurs notebooks Zeppelin puis les importent dans l’application Databricks.
2. Conversion structurelle automatique
Le système transforme la structure du notebook — paragraphes, syntaxe d’interpréteur, métadonnées — en un notebook compatible Databricks.
3. Reconstruction assistée par IA
Des prompts contextuels sont générés pour guider la recréation de la logique analytique avec Databricks et Genie.
4. Validation humaine
Les utilisateurs vérifient et finalisent le notebook afin d’assurer l’exactitude des calculs et la conformité réglementaire.
Le résultat est un workflow hybride combinant automatisation, IA générative et supervision humaine.
Un gain de temps massif
Avant l’outil, recréer un notebook demandait plusieurs heures de travail manuel.
Avec la nouvelle application, l’opération prend environ 15 à 20 minutes par notebook.
À l’échelle de la migration :
environ 500 à 667 heures de travail pour 2 000 notebooks
contre plusieurs milliers d’heures dans un scénario entièrement manuel
Même si le total exact n’a pas été publié, le passage de plusieurs heures à quelques minutes par notebook représente un gain de productivité majeur.
Pourquoi c’est un cas d’usage GenAI crédible
De nombreux projets d’IA générative peinent à démontrer un impact concret. Cette initiative se distingue parce qu’elle cible un problème opérationnel précis et coûteux : la migration d’actifs analytiques historiques.
Plusieurs éléments expliquent son succès :
périmètre clair : migration de notebooks existants
automatisation hybride : règles logicielles pour les tâches prévisibles, IA pour l’interprétation
contrôle humain : indispensable dans un environnement financier réglementé
L’IA n’est donc pas utilisée comme substitut complet aux ingénieurs, mais comme outil d’assistance pour accélérer un travail complexe.
Un élément d’une transformation cloud plus large
Cette migration s’inscrit dans une stratégie plus vaste de modernisation technologique chez Deutsche Börse.
L’entreprise a notamment reconstruit des systèmes critiques comme l’infrastructure du DAX sur Google Cloud, avec plusieurs résultats mesurables :
33 % de réduction du coût total de possession
plus de 60 applications migrées
85 % de réduction du temps de reprise après incident pour certains systèmes SAP.
Le groupe indique également que plus de 50 % de ses charges de travail fonctionnent désormais dans le cloud, signe d’une transformation profonde de son infrastructure data et analytique.
Dans ce contexte, moderniser les notebooks et les actifs analytiques est essentiel : sans cette étape, les nouvelles plateformes cloud ne peuvent pas délivrer tout leur potentiel.
Ce qu’il faut retenir
Le projet de Deutsche Börse illustre une approche pragmatique de l’IA générative dans l’ingénierie d’entreprise :
automatiser les tâches déterministes avec des logiciels classiques
utiliser l’IA générative pour interpréter et reconstruire la logique
maintenir une validation humaine pour les décisions critiques
En intégrant ces éléments dans une application Databricks dédiée, l’entreprise a transformé une migration potentiellement massive et manuelle en workflow semi‑automatisé, réduisant le temps de reconstruction à quelques minutes par notebook tout en conservant la maîtrise de la logique analytique.
cloud.google.comDeutsche Börse Group case study | Google Cloud
