À l’intérieur de la migration de 2 000+ notebooks Zeppelin de Deutsche Börse avec l’IA générative

Les migrations de plateformes data à grande échelle échouent rarement à cause de l’infrastructure elle‑même. Le véritable obstacle vient souvent des milliers d’artefacts analytiques — notebooks, scripts et workflows — accumulés au fil des années.

C’est précisément le défi auquel s’est confronté Deutsche Börse, l’opérateur de la Bourse de Francfort. L’entreprise devait migrer plus de 2 000 notebooks Apache Zeppelin depuis un environnement Cloudera vers Databricks, avant la mise hors service prévue de Zeppelin dans cet écosystème. Plutôt que de tenter une traduction automatique risquée du code, l’équipe a construit une application Databricks alimentée par l’IA générative qui combine automatisation et intervention humaine.

Pourquoi cette migration était nécessaire

La migration est liée à l’évolution de l’écosystème Cloudera. La documentation officielle indique que l’environnement de notebooks Apache Zeppelin est désormais déprécié et n’est plus pris en charge dans les versions récentes du runtime. Continuer à s’appuyer sur cette technologie devenait donc risqué à long terme.

Pour l’équipe StatistiX de Deutsche Börse, l’ampleur du problème était considérable. Les notebooks contenaient des années de logique analytique, de transformations de données et de scripts métier. Les reconstruire manuellement aurait demandé des milliers d’heures d’ingénierie et une coordination complexe entre équipes.

L’idée clé : séparer structure et logique

Au lieu d’utiliser l’IA pour traduire chaque notebook en une seule fois, l’équipe a adopté une approche plus robuste : dissocier deux types de tâches fondamentalement différents.

1. Conversion structurelle (déterministe)

Certains éléments d’un notebook Zeppelin sont mécaniques et prévisibles. Ils peuvent être convertis automatiquement par des règles logicielles classiques.

Par exemple :

• transformation des paragraphs Zeppelin en cellules Databricks
• traduction de la syntaxe des interpréteurs
• conversion et reformatage des métadonnées

Comme ces transformations suivent des règles fixes, elles peuvent être automatisées sans IA générative.

2. Reconstruction de la logique (assistée par IA)

La partie difficile concerne la logique analytique et métier à l’intérieur des notebooks. Comprendre l’intention d’un analyste ou d’un pipeline de données ne se réduit pas à convertir du code ligne par ligne.

La solution développée par Deutsche Börse génère donc des prompts contextuels pour Databricks Genie, qui aident les utilisateurs à reconstruire l’intention et les étapes analytiques dans l’environnement Databricks. Les analystes restent impliqués pour valider le résultat.

Ce modèle hybride améliore la fiabilité :

• l’automatisation gère la structure
• l’IA aide à interpréter
• les humains valident la logique métier

Architecture de l’application Databricks

L’outil a été conçu comme une Databricks App, c’est‑à‑dire une application exécutée directement dans l’environnement Databricks plutôt qu’un outil externe.

L’architecture comprend notamment :

• une interface guidant les utilisateurs dans la migration
• un moteur de conversion automatisée pour la structure des notebooks
• un système de génération de prompts pour l’assistance IA
• une validation humaine pour garantir la conformité et la logique métier

Cette conception permet même à des utilisateurs métier de migrer leurs propres notebooks tout en conservant un cadre de gouvernance.

Le workflow de migration

Le processus typique comporte quatre étapes.

1. Import des notebooks
Les utilisateurs exportent leurs notebooks Zeppelin puis les importent dans l’application Databricks.

2. Conversion structurelle automatique
Le système transforme la structure du notebook — paragraphes, syntaxe d’interpréteur, métadonnées — en un notebook compatible Databricks.

3. Reconstruction assistée par IA
Des prompts contextuels sont générés pour guider la recréation de la logique analytique avec Databricks et Genie.

4. Validation humaine
Les utilisateurs vérifient et finalisent le notebook afin d’assurer l’exactitude des calculs et la conformité réglementaire.

Le résultat est un workflow hybride combinant automatisation, IA générative et supervision humaine.

Un gain de temps massif

Avant l’outil, recréer un notebook demandait plusieurs heures de travail manuel.

Avec la nouvelle application, l’opération prend environ 15 à 20 minutes par notebook.

À l’échelle de la migration :

• environ 500 à 667 heures de travail pour 2 000 notebooks
• contre plusieurs milliers d’heures dans un scénario entièrement manuel

Même si le total exact n’a pas été publié, le passage de plusieurs heures à quelques minutes par notebook représente un gain de productivité majeur.

Pourquoi c’est un cas d’usage GenAI crédible

De nombreux projets d’IA générative peinent à démontrer un impact concret. Cette initiative se distingue parce qu’elle cible un problème opérationnel précis et coûteux : la migration d’actifs analytiques historiques.

Plusieurs éléments expliquent son succès :

• périmètre clair : migration de notebooks existants
• automatisation hybride : règles logicielles pour les tâches prévisibles, IA pour l’interprétation
• contrôle humain : indispensable dans un environnement financier réglementé

L’IA n’est donc pas utilisée comme substitut complet aux ingénieurs, mais comme outil d’assistance pour accélérer un travail complexe.

Un élément d’une transformation cloud plus large

Cette migration s’inscrit dans une stratégie plus vaste de modernisation technologique chez Deutsche Börse.

L’entreprise a notamment reconstruit des systèmes critiques comme l’infrastructure du DAX sur Google Cloud, avec plusieurs résultats mesurables :

• 33 % de réduction du coût total de possession
• plus de 60 applications migrées
• 85 % de réduction du temps de reprise après incident pour certains systèmes SAP.

Le groupe indique également que plus de 50 % de ses charges de travail fonctionnent désormais dans le cloud, signe d’une transformation profonde de son infrastructure data et analytique.

Dans ce contexte, moderniser les notebooks et les actifs analytiques est essentiel : sans cette étape, les nouvelles plateformes cloud ne peuvent pas délivrer tout leur potentiel.

Ce qu’il faut retenir

Le projet de Deutsche Börse illustre une approche pragmatique de l’IA générative dans l’ingénierie d’entreprise :

• automatiser les tâches déterministes avec des logiciels classiques
• utiliser l’IA générative pour interpréter et reconstruire la logique
• maintenir une validation humaine pour les décisions critiques

En intégrant ces éléments dans une application Databricks dédiée, l’entreprise a transformé une migration potentiellement massive et manuelle en workflow semi‑automatisé, réduisant le temps de reconstruction à quelques minutes par notebook tout en conservant la maîtrise de la logique analytique.