Dentro de la migración de 2.000+ notebooks de Zeppelin a Databricks impulsada por GenAI en Deutsche Börse

Las migraciones de plataformas de datos a gran escala suelen fallar no por la infraestructura, sino por la enorme cantidad de artefactos analíticos acumulados con los años. Ese fue exactamente el reto que enfrentó Deutsche Börse cuando necesitó trasladar más de 2.000 notebooks de Apache Zeppelin desde el ecosistema Cloudera hacia Databricks antes del retiro definitivo del entorno heredado.

En lugar de intentar una traducción automática completa —algo frágil y poco fiable— el equipo desarrolló una app personalizada dentro de Databricks basada en IA generativa. La clave del enfoque fue dividir el problema en dos partes: convertir automáticamente la estructura del notebook y usar IA para ayudar a reconstruir la lógica analítica.

Por qué era necesaria la migración

El detonante fue el futuro de Apache Zeppelin dentro del stack de Cloudera. La documentación de Cloudera indica que el entorno de notebooks ha sido descontinuado y ya no cuenta con soporte en nuevas versiones del runtime, lo que hace arriesgado depender de él a largo plazo.

Para el equipo StatistiX de Deutsche Börse, el desafío era principalmente de escala. Más de 2.000 notebooks contenían flujos de trabajo analíticos, transformaciones de datos y lógica de negocio acumulada durante años. Reescribirlos manualmente habría requerido un esfuerzo enorme de ingeniería y coordinación entre múltiples usuarios y equipos.

La idea clave: separar estructura y lógica

En lugar de pedir a un modelo de IA que reescribiera notebooks completos con un solo prompt, el equipo diseñó el sistema distinguiendo entre dos tipos de tareas muy diferentes.

Conversión estructural (determinista)

Algunos elementos de un notebook Zeppelin son puramente mecánicos. Por ejemplo:

• Convertir párrafos de Zeppelin en celdas de Databricks
• Traducir la sintaxis de los intérpretes
• Reformatear metadatos

Como estas transformaciones siguen reglas claras, se automatizaron con código determinista en lugar de usar IA generativa.

Reconstrucción de la lógica (asistida por IA)

La verdadera complejidad está en la lógica analítica dentro de los notebooks: transformaciones de datos, cálculos y decisiones de negocio que requieren interpretación.

Aquí entra la IA generativa. La aplicación genera prompts contextualizados para Databricks Genie, ayudando a los usuarios a reconstruir paso a paso la intención original del notebook dentro del nuevo entorno.

El diseño mantiene a los analistas en el proceso para validar los resultados, algo especialmente importante en entornos financieros regulados.

Arquitectura de la app en Databricks

La herramienta se empaquetó como una Databricks App, lo que permite ejecutar todo el flujo de migración directamente dentro del entorno Databricks sin herramientas externas.

A grandes rasgos, la arquitectura incluye:

• Una interfaz que guía al usuario durante la migración
• Un motor automático que convierte la estructura del notebook
• Un sistema de prompts que genera consultas contextualizadas para la IA
• Validación humana para confirmar o ajustar la lógica reconstruida

Este enfoque también permite que usuarios de negocio participen en la migración de sus propios notebooks mientras se mantienen los controles de gobernanza y supervisión.

Flujo de migración paso a paso

El proceso típico consta de cuatro etapas.

1. Ingesta del notebook
Los usuarios exportan los notebooks de Zeppelin y los cargan en la app de Databricks.

2. Conversión estructural automática
Las reglas automatizadas transforman la estructura del notebook —párrafos, intérpretes y metadatos— a un formato compatible con Databricks.

3. Reconstrucción de la lógica con ayuda de IA
El sistema genera prompts contextualizados para recrear la lógica analítica utilizando herramientas de Databricks, guiado por Databricks Genie.

4. Validación humana
Los usuarios revisan el resultado final para garantizar exactitud, cumplimiento normativo y preservación del conocimiento de dominio.

El resultado es un flujo híbrido que combina automatización, IA generativa y supervisión humana.

Cuánto tiempo se ahorró

Antes de implementar la herramienta, reconstruir un notebook podía llevar varias horas de trabajo manual.

Con el nuevo sistema, el tiempo promedio bajó a aproximadamente 15–20 minutos por notebook.

En un proyecto con más de 2.000 notebooks, esto implica aproximadamente:

• 500–667 horas de trabajo total en el nuevo flujo
• Miles de horas potenciales si se hubiera hecho todo manualmente

Aunque la empresa no publicó el total exacto de horas ahorradas, el cambio de “horas” a “minutos” por notebook representa una mejora significativa de productividad.

Por qué es un caso práctico de GenAI

Muchos proyectos de IA generativa se quedan en pruebas de concepto sin impacto operativo claro. El caso de Deutsche Börse destaca porque aborda un cuello de botella concreto de ingeniería.

Hay tres elementos que explican su éxito:

• Alcance claro: migrar notebooks heredados.
• Automatización híbrida: reglas deterministas para tareas predecibles e IA para tareas interpretativas.
• Supervisión humana: imprescindible cuando la lógica afecta procesos financieros regulados.

Este enfoque evita los riesgos de una generación automática de código sin control, pero aun así logra mejoras importantes de productividad.

Parte de una transformación cloud más amplia

La migración de notebooks también encaja dentro de la estrategia más amplia de modernización tecnológica de Deutsche Börse.

La compañía ha trasladado progresivamente sistemas y cargas de trabajo a la nube. Entre otros resultados, la reingeniería de sistemas clave como la infraestructura del índice DAX en Google Cloud logró un 33% menos de coste total de propiedad, la migración de más de 60 aplicaciones y una reducción del 85% en el tiempo de recuperación ante desastres para sistemas SAP críticos.

Además, el grupo ha anunciado que más del 50% de sus cargas de trabajo ya se ejecutan en la nube, un hito importante en su adopción de infraestructuras cloud modernas.

En ese contexto, modernizar activos analíticos como los notebooks es fundamental: sin esa actualización, las nuevas plataformas de datos no pueden aprovechar plenamente sus capacidades.

Conclusión

La experiencia de Deutsche Börse muestra un modelo pragmático para aplicar IA generativa en ingeniería empresarial:

• Automatizar con software tradicional lo que es determinista
• Usar IA generativa para interpretar y reconstruir lógica compleja
• Mantener a los expertos humanos en el circuito de validación

Al integrar estos elementos en una app personalizada de Databricks, la empresa convirtió un proyecto potencialmente gigantesco de migración manual en un flujo semi‑automatizado que reduce el tiempo de reconstrucción a minutos por notebook sin perder control sobre la lógica analítica crítica.