Por dentro da migração de 2.000+ notebooks Zeppelin da Deutsche Börse usando IA generativa

A ideia central: separar estrutura de lógica

A solução surgiu de uma percepção arquitetural simples, mas poderosa: nem todo o notebook precisa de IA para ser migrado.

A equipe separou o problema em dois tipos de tarefas completamente diferentes.

1) Conversão estrutural (determinística)

Alguns elementos de um notebook Zeppelin são previsíveis e seguem padrões claros, por exemplo:

• transformar parágrafos do Zeppelin em células de notebook no Databricks
• converter a sintaxe de interpretadores
• reorganizar e formatar metadados

Essas transformações podem ser realizadas com regras determinísticas e automação tradicional, sem depender de modelos generativos.

2) Reconstrução da lógica (assistida por IA)

A parte realmente complexa está dentro das células: transformações de dados, lógica analítica e regras de negócio.

Em vez de tentar reescrever automaticamente todo o código — o que poderia gerar erros difíceis de detectar — a aplicação usa IA generativa para orientar a reconstrução dessa lógica.

O sistema cria prompts contextuais para o Databricks Genie, ajudando os usuários a recriar passo a passo a intenção analítica do notebook original.

Assim, o processo mantém um humano no loop, responsável por validar se a lógica reconstruída está correta.

Arquitetura da aplicação no Databricks

A ferramenta foi implementada como uma Databricks App, permitindo que o fluxo de migração rodasse diretamente dentro do ambiente Databricks — sem depender de ferramentas externas.

De forma simplificada, a arquitetura incluía:

• uma interface que guia os usuários durante a migração
• automação para converter a estrutura dos notebooks Zeppelin
• um sistema de geração de prompts com contexto
• integração com IA (Databricks Genie) para reconstrução da lógica
• validação humana para garantir precisão e conformidade

Esse design também permite que analistas de negócio participem da migração de seus próprios notebooks, enquanto a governança técnica continua centralizada.

Fluxo de trabalho da migração

O processo normalmente seguia quatro etapas principais.

1. Ingestão do notebook
Os usuários exportam notebooks do Zeppelin e os carregam na aplicação do Databricks.

2. Conversão estrutural automática
Regras automatizadas transformam a estrutura do notebook — parágrafos, interpretadores e metadados — para o formato compatível com Databricks.

3. Reconstrução da lógica com IA
A ferramenta gera prompts contextuais para ajudar a recriar transformações de dados e lógica analítica usando ferramentas do Databricks.

4. Revisão e validação humana
O usuário revisa o resultado e finaliza o notebook, garantindo que regras de negócio e requisitos regulatórios sejam preservados.

Esse fluxo híbrido combina automação, IA generativa e supervisão humana.

Quanto tempo foi economizado

Antes da ferramenta, reconstruir um notebook normalmente levava várias horas.

Com o novo fluxo, cada notebook pode ser reconstruído em cerca de 15 a 20 minutos.

Considerando mais de 2.000 notebooks, isso implica aproximadamente:

• 500 a 667 horas de trabalho total no novo processo
• potencialmente vários milhares de horas se tudo fosse feito manualmente

A Deutsche Börse não divulgou o total exato de horas economizadas, mas a redução de horas para minutos por notebook representa um ganho expressivo de produtividade.

Por que esse caso é um exemplo prático de GenAI

Muitos projetos de IA generativa têm dificuldade em demonstrar valor operacional claro. A iniciativa da Deutsche Börse se destaca porque ataca um gargalo técnico específico e caro.

Alguns fatores explicam o sucesso da abordagem:

Escopo claro — o objetivo era bem definido: migrar notebooks legados.

Automação híbrida — tarefas previsíveis foram automatizadas com software tradicional; a IA entrou apenas onde havia necessidade de interpretação.

Supervisão humana — analistas continuaram responsáveis pela validação da lógica, algo essencial em ambientes financeiros regulados.

Essa combinação reduz o risco de geração automática de código incorreto, ao mesmo tempo que acelera significativamente o trabalho.

Parte de uma transformação maior para a nuvem

A migração dos notebooks faz parte de uma modernização tecnológica mais ampla da Deutsche Börse.

A empresa vem movendo sistemas críticos para a nuvem e expandindo sua infraestrutura de dados e analytics. Entre os resultados relatados:

• 33% de redução no custo total de propriedade (TCO) após reengenharia de sistemas ligados ao índice DAX no Google Cloud
• mais de 60 aplicações migradas
• 85% de redução no tempo de recuperação de desastres em sistemas SAP críticos

O grupo também informou que mais de 50% de suas cargas de trabalho já estão rodando na nuvem, um marco importante para sua estratégia tecnológica.

Nesse contexto, migrar ativos analíticos — como notebooks — é essencial. Sem modernizar esses componentes, as novas plataformas de dados não conseguem entregar todo o valor prometido.

O principal aprendizado

A estratégia da Deutsche Börse mostra um modelo pragmático para aplicar IA generativa em engenharia corporativa:

• automatizar tarefas determinísticas com software tradicional
• usar IA generativa onde há interpretação e reconstrução
• manter humanos no processo quando a lógica de negócio é crítica

Ao integrar esses elementos em uma aplicação no Databricks, a empresa transformou uma migração potencialmente gigantesca em um fluxo semi‑automatizado — reduzindo o tempo de reconstrução para minutos por notebook e preservando controle sobre a lógica analítica.