Dentro de la migración de 2.000+ notebooks de Zeppelin a Databricks impulsada por GenAI en Deutsche Börse
Deutsche Börse migró más de 2.000 notebooks de Apache Zeppelin desde Cloudera a Databricks con una app personalizada impulsada por IA generativa. El sistema separó la conversión estructural automática del notebook de la reconstrucción de la lógica analítica asistida por IA y validada por humanos.
How did Deutsche Börse use a custom GenAI-powered Databricks App to migrate more than 2,000 Zeppelin notebooks from Cloudera to Databricks aDeutsche Börse used a custom Databricks App combining deterministic conversion and generative AI to migrate thousands of Zeppelin notebooks.
Prompt de IA
Create a landscape editorial hero image for this Studio Global article: How did Deutsche Börse use a custom GenAI-powered Databricks App to migrate more than 2,000 Zeppelin notebooks from Cloudera to Databricks a. Article summary: Deutsche Börse’s StatistiX team built a custom Databricks App to turn a 2,000+ Zeppelin-notebook migration into a semi-automated, AI-assisted workflow: deterministic code handled notebook structure, while GenAI helped us. Topic tags: general, documentation, general web, user generated. Reference image context from search candidates: Reference image 1: visual subject "# Introducing Databricks GenAI Partner Accelerators for Data Engineering & Migration. Speed up data engineering and data migration with GenAI and agentic accelerators built by Data" source context "Introducing Databricks GenAI Partner Accelerators for Data Engineering & Migration | Databricks Blog"
openai.com
Las migraciones de plataformas de datos a gran escala suelen fallar no por la infraestructura, sino por la enorme cantidad de artefactos analíticos acumulados con los años. Ese fue exactamente el reto que enfrentó Deutsche Börse cuando necesitó trasladar más de 2.000 notebooks de Apache Zeppelin desde el ecosistema Cloudera hacia Databricks antes del retiro definitivo del entorno heredado.
En lugar de intentar una traducción automática completa —algo frágil y poco fiable— el equipo desarrolló una app personalizada dentro de Databricks basada en IA generativa. La clave del enfoque fue dividir el problema en dos partes: convertir automáticamente la estructura del notebook y usar IA para ayudar a reconstruir la lógica analítica.
Por qué era necesaria la migración
El detonante fue el futuro de Apache Zeppelin dentro del stack de Cloudera. La documentación de Cloudera indica que el entorno de notebooks ha sido descontinuado y ya no cuenta con soporte en nuevas versiones del runtime, lo que hace arriesgado depender de él a largo plazo.
Para el equipo StatistiX de Deutsche Börse, el desafío era principalmente de escala. Más de 2.000 notebooks contenían flujos de trabajo analíticos, transformaciones de datos y lógica de negocio acumulada durante años. Reescribirlos manualmente habría requerido un esfuerzo enorme de ingeniería y coordinación entre múltiples usuarios y equipos.
Studio Global AI
Search, cite, and publish your own answer
Use this topic as a starting point for a fresh source-backed answer, then compare citations before you share it.
¿Cuál es la respuesta corta a "Dentro de la migración de 2.000+ notebooks de Zeppelin a Databricks impulsada por GenAI en Deutsche Börse"?
Deutsche Börse migró más de 2.000 notebooks de Apache Zeppelin desde Cloudera a Databricks con una app personalizada impulsada por IA generativa.
¿Cuáles son los puntos clave a validar primero?
Deutsche Börse migró más de 2.000 notebooks de Apache Zeppelin desde Cloudera a Databricks con una app personalizada impulsada por IA generativa. El sistema separó la conversión estructural automática del notebook de la reconstrucción de la lógica analítica asistida por IA y validada por humanos.
¿Qué debo hacer a continuación en la práctica?
El tiempo de reconstrucción pasó de varias horas por notebook a unos 15–20 minutos, reduciendo miles de horas de trabajo potencial.
En lugar de pedir a un modelo de IA que reescribiera notebooks completos con un solo prompt, el equipo diseñó el sistema distinguiendo entre dos tipos de tareas muy diferentes.
Conversión estructural (determinista)
Algunos elementos de un notebook Zeppelin son puramente mecánicos. Por ejemplo:
Convertir párrafos de Zeppelin en celdas de Databricks
Traducir la sintaxis de los intérpretes
Reformatear metadatos
Como estas transformaciones siguen reglas claras, se automatizaron con código determinista en lugar de usar IA generativa.
Reconstrucción de la lógica (asistida por IA)
La verdadera complejidad está en la lógica analítica dentro de los notebooks: transformaciones de datos, cálculos y decisiones de negocio que requieren interpretación.
Aquí entra la IA generativa. La aplicación genera prompts contextualizados para Databricks Genie, ayudando a los usuarios a reconstruir paso a paso la intención original del notebook dentro del nuevo entorno.
El diseño mantiene a los analistas en el proceso para validar los resultados, algo especialmente importante en entornos financieros regulados.
Arquitectura de la app en Databricks
La herramienta se empaquetó como una Databricks App, lo que permite ejecutar todo el flujo de migración directamente dentro del entorno Databricks sin herramientas externas.
A grandes rasgos, la arquitectura incluye:
Una interfaz que guía al usuario durante la migración
Un motor automático que convierte la estructura del notebook
Un sistema de prompts que genera consultas contextualizadas para la IA
Validación humana para confirmar o ajustar la lógica reconstruida
Este enfoque también permite que usuarios de negocio participen en la migración de sus propios notebooks mientras se mantienen los controles de gobernanza y supervisión.
Flujo de migración paso a paso
El proceso típico consta de cuatro etapas.
1. Ingesta del notebook
Los usuarios exportan los notebooks de Zeppelin y los cargan en la app de Databricks.
2. Conversión estructural automática
Las reglas automatizadas transforman la estructura del notebook —párrafos, intérpretes y metadatos— a un formato compatible con Databricks.
3. Reconstrucción de la lógica con ayuda de IA
El sistema genera prompts contextualizados para recrear la lógica analítica utilizando herramientas de Databricks, guiado por Databricks Genie.
4. Validación humana
Los usuarios revisan el resultado final para garantizar exactitud, cumplimiento normativo y preservación del conocimiento de dominio.
El resultado es un flujo híbrido que combina automatización, IA generativa y supervisión humana.
Cuánto tiempo se ahorró
Antes de implementar la herramienta, reconstruir un notebook podía llevar varias horas de trabajo manual.
Con el nuevo sistema, el tiempo promedio bajó a aproximadamente 15–20 minutos por notebook.
En un proyecto con más de 2.000 notebooks, esto implica aproximadamente:
500–667 horas de trabajo total en el nuevo flujo
Miles de horas potenciales si se hubiera hecho todo manualmente
Aunque la empresa no publicó el total exacto de horas ahorradas, el cambio de “horas” a “minutos” por notebook representa una mejora significativa de productividad.
Por qué es un caso práctico de GenAI
Muchos proyectos de IA generativa se quedan en pruebas de concepto sin impacto operativo claro. El caso de Deutsche Börse destaca porque aborda un cuello de botella concreto de ingeniería.
Hay tres elementos que explican su éxito:
Alcance claro: migrar notebooks heredados.
Automatización híbrida: reglas deterministas para tareas predecibles e IA para tareas interpretativas.
Supervisión humana: imprescindible cuando la lógica afecta procesos financieros regulados.
Este enfoque evita los riesgos de una generación automática de código sin control, pero aun así logra mejoras importantes de productividad.
Parte de una transformación cloud más amplia
La migración de notebooks también encaja dentro de la estrategia más amplia de modernización tecnológica de Deutsche Börse.
La compañía ha trasladado progresivamente sistemas y cargas de trabajo a la nube. Entre otros resultados, la reingeniería de sistemas clave como la infraestructura del índice DAX en Google Cloud logró un 33% menos de coste total de propiedad, la migración de más de 60 aplicaciones y una reducción del 85% en el tiempo de recuperación ante desastres para sistemas SAP críticos.
Además, el grupo ha anunciado que más del 50% de sus cargas de trabajo ya se ejecutan en la nube, un hito importante en su adopción de infraestructuras cloud modernas.
En ese contexto, modernizar activos analíticos como los notebooks es fundamental: sin esa actualización, las nuevas plataformas de datos no pueden aprovechar plenamente sus capacidades.
Conclusión
La experiencia de Deutsche Börse muestra un modelo pragmático para aplicar IA generativa en ingeniería empresarial:
Automatizar con software tradicional lo que es determinista
Usar IA generativa para interpretar y reconstruir lógica compleja
Mantener a los expertos humanos en el circuito de validación
Al integrar estos elementos en una app personalizada de Databricks, la empresa convirtió un proyecto potencialmente gigantesco de migración manual en un flujo semi‑automatizado que reduce el tiempo de reconstrucción a minutos por notebook sin perder control sobre la lógica analítica crítica.
deutsche-boerse.comDeutsche Börse celebrates important milestone in cloud ...
Comments
0 comments