Внутри GenAI‑миграции: как Deutsche Börse перенесла 2000+ Zeppelin‑ноутбуков в Databricks

Ключевая идея: разделить структуру и логику

Главный архитектурный инсайт проекта заключался в том, чтобы не пытаться переводить весь ноутбук с помощью одного AI‑запроса. Вместо этого разработчики разделили задачу на два разных типа операций.

1. Конверсия структуры (детерминированная)

Некоторые элементы Zeppelin‑ноутбуков легко формализуются и переводятся по правилам:

• преобразование параграфов Zeppelin в ячейки Databricks
• перевод синтаксиса интерпретаторов
• перенос и форматирование метаданных

Эти операции полностью предсказуемы, поэтому их можно реализовать обычным кодом и автоматизацией без генеративного ИИ.

2. Восстановление логики (с помощью GenAI)

Настоящая сложность скрыта внутри аналитической логики: бизнес‑правила, трансформации данных и аналитические шаги часто требуют интерпретации.

Вместо рискованной автоматической переписи инструмент использует генеративный ИИ, который помогает пользователю воссоздать смысл и логику ноутбука. Для этого система генерирует контекстные подсказки (prompts) для Databricks Genie — AI‑ассистента платформы.

Таким образом:

• автоматизация занимается механической частью
• генеративный ИИ помогает понять и восстановить логику
• человек подтверждает корректность результата

Такой гибридный подход значительно повышает надёжность миграции.

Архитектура приложения Databricks

Инструмент был реализован как Databricks App — приложение, которое запускается прямо внутри рабочей среды Databricks. Это позволяет пользователям работать с миграцией без внешних инструментов.

В архитектуре присутствовали несколько ключевых компонентов:

• пользовательский интерфейс, который пошагово проводит через миграцию
• автоматический модуль преобразования структуры Zeppelin‑ноутбуков
• система генерации контекстных AI‑запросов
• проверка и подтверждение логики пользователем (human‑in‑the‑loop)

Такой дизайн позволил подключить к процессу самих аналитиков и владельцев ноутбуков, при этом сохраняя контроль и управляемость процесса.

Как выглядел процесс миграции

Рабочий процесс обычно проходил в четыре шага.

1. Загрузка ноутбука
Пользователь экспортирует Zeppelin‑ноутбук и загружает его в приложение Databricks.

2. Автоматическая конверсия структуры
Приложение преобразует оболочку ноутбука — структуру параграфов, синтаксис интерпретатора и метаданные — в формат Databricks.

3. Восстановление логики с помощью AI
Система генерирует контекстные prompts, которые помогают Databricks Genie воспроизвести аналитическую логику и шаги обработки данных.

4. Проверка человеком
Аналитик проверяет результат, корректирует код и подтверждает правильность бизнес‑логики.

В итоге процесс объединяет автоматизацию, генеративный ИИ и экспертную проверку.

Сколько времени удалось сэкономить

До появления инструмента переписывание одного ноутбука обычно занимало несколько часов ручной работы.

После внедрения приложения время сократилось до примерно 15–20 минут на ноутбук.

Если пересчитать для всей миграции:

• 2000 ноутбуков × 15–20 минут
• примерно 500–667 часов работы в новой системе

При ручной миграции общий объём мог бы составлять несколько тысяч часов инженерной работы.

Почему этот кейс считается практическим применением GenAI

Многие проекты с генеративным ИИ сталкиваются с проблемой: они выглядят впечатляюще, но не дают измеримой бизнес‑ценности.

Кейс Deutsche Börse выделяется по нескольким причинам.

Чётко ограниченная задача
Проект решает конкретную проблему — миграцию устаревших аналитических ноутбуков.

Гибридная автоматизация
Правила используются там, где всё предсказуемо, а генеративный ИИ применяется только для задач интерпретации.

Контроль со стороны человека
Аналитики проверяют бизнес‑логику — критически важный фактор для финансовой индустрии с жёсткими требованиями к управлению рисками.

Часть более широкой облачной трансформации

Миграция ноутбуков — лишь один элемент масштабной модернизации инфраструктуры Deutsche Börse.

Компания активно переносит системы и аналитические платформы в облако. Например, при переносе инфраструктуры индекса DAX на Google Cloud были достигнуты результаты, включая:

• снижение совокупной стоимости владения примерно на 33%
• миграцию более 60 приложений
• сокращение времени восстановления после сбоев для ключевых SAP‑систем примерно на 85%.

Кроме того, группа сообщала, что более половины её рабочих нагрузок уже работают в облаке, что отражает стратегический переход к облачным платформам для данных и аналитики.

В такой трансформации перенос аналитических активов — включая ноутбуки — является необходимым шагом: без этого новые облачные платформы не могут полностью раскрыть свой потенциал.

Итог

Подход Deutsche Börse показывает практичную модель внедрения генеративного ИИ в корпоративной разработке:

• автоматизировать детерминированные задачи обычным кодом
• использовать GenAI там, где требуется интерпретация
• сохранять участие человека в критически важной бизнес‑логике

Благодаря этому компания смогла превратить потенциально огромный ручной проект миграции в полуавтоматический процесс, сократив время переработки каждого ноутбука до минут и сохранив контроль над аналитической логикой.