Bên trong dự án dùng GenAI của Deutsche Börse để di chuyển hơn 2.000 notebook Zeppelin

Các dự án di chuyển nền tảng dữ liệu quy mô lớn thường không thất bại vì hạ tầng, mà vì hàng nghìn artefact phân tích — đặc biệt là notebook — chứa logic kinh doanh phải viết lại thủ công. Deutsche Börse đã đối mặt chính xác với bài toán này khi cần chuyển hơn 2.000 notebook Apache Zeppelin từ hệ sinh thái Cloudera sang Databricks trước khi môi trường cũ bị ngừng hoạt động.

Thay vì cố gắng dịch toàn bộ code bằng một bước tự động dễ vỡ, nhóm kỹ thuật đã xây dựng một ứng dụng Databricks sử dụng generative AI để chia bài toán thành hai phần: chuyển đổi cấu trúc theo quy tắc và tái tạo logic phân tích có hỗ trợ AI.

Vì sao Deutsche Börse phải di chuyển notebook

Động lực chính là việc Apache Zeppelin trong hệ sinh thái Cloudera đã bị khai tử. Theo tài liệu của Cloudera, Zeppelin đã bị đánh dấu deprecated và không còn được hỗ trợ trong các runtime mới, khiến việc tiếp tục phụ thuộc vào nó trở nên rủi ro về lâu dài.

Với đội StatistiX của Deutsche Börse, thách thức nằm ở quy mô: hơn 2.000 notebook chứa các workflow phân tích và logic kinh doanh được tích lũy trong nhiều năm. Nếu viết lại thủ công, dự án sẽ tiêu tốn hàng nghìn giờ công và rất khó phối hợp giữa nhiều nhóm người dùng.

Ý tưởng thiết kế quan trọng: tách cấu trúc khỏi logic

Thay vì để AI dịch toàn bộ notebook trong một lần, nhóm phát triển nhận ra rằng cần tách hai loại công việc hoàn toàn khác nhau.

1. Chuyển đổi cấu trúc (deterministic)

Một số thành phần của notebook Zeppelin khá máy móc và có thể tự động hóa bằng quy tắc:

• Chuyển paragraph của Zeppelin thành cell trong Databricks
• Chuyển đổi cú pháp interpreter
• Chuẩn hóa và định dạng lại metadata

Vì đây là các thao tác có quy luật rõ ràng, chúng được xử lý bằng code tự động truyền thống, không cần GenAI.

2. Tái tạo logic phân tích (AI hỗ trợ)

Phần khó nhất nằm ở logic phân tích và logic nghiệp vụ trong notebook. Những đoạn này thường chứa ý định phân tích, biến đổi dữ liệu và quy tắc kinh doanh cần được hiểu đúng.

Ứng dụng tạo ra prompt có ngữ cảnh cho công cụ Databricks Genie, giúp người dùng tái tạo từng bước logic của notebook với sự hỗ trợ của AI. Người dùng vẫn tham gia xác nhận để đảm bảo tính chính xác.

Cách tiếp cận này giúp hệ thống đáng tin cậy hơn: tự động hóa xử lý phần máy móc, còn AI hỗ trợ những phần cần diễn giải.

Kiến trúc của ứng dụng Databricks

Công cụ di chuyển được đóng gói thành một Databricks App, cho phép người dùng chạy toàn bộ quy trình ngay trong môi trường Databricks thay vì dùng công cụ bên ngoài.

Ở mức tổng quan, hệ thống gồm:

• Giao diện hướng dẫn người dùng từng bước di chuyển notebook
• Module tự động chuyển đổi cấu trúc notebook Zeppelin
• Hệ thống tạo prompt ngữ cảnh cho AI
• Quy trình human‑in‑the‑loop để xác nhận và hoàn thiện logic

Thiết kế này cho phép người dùng nghiệp vụ tham gia di chuyển notebook của chính họ, trong khi vẫn đảm bảo kiểm soát và quản trị dữ liệu.

Quy trình di chuyển notebook

Quy trình điển hình gồm bốn bước chính:

1. Nhập notebook
Người dùng export notebook Zeppelin và tải lên ứng dụng Databricks.

2. Chuyển đổi cấu trúc tự động
Hệ thống chuyển đổi cấu trúc notebook (paragraph, interpreter, metadata) sang định dạng Databricks.

3. Tái tạo logic với AI
Ứng dụng tạo prompt để Databricks Genie hỗ trợ xây dựng lại logic phân tích.

4. Kiểm tra và hoàn thiện
Người dùng xác nhận kết quả để đảm bảo đúng logic nghiệp vụ và tuân thủ quy định.

Mô hình này kết hợp tự động hóa + GenAI + con người kiểm duyệt.

Mức tiết kiệm thời gian

Trước khi có công cụ, việc tái phát triển một notebook thường mất vài giờ làm việc.

Sau khi áp dụng workflow mới:

• Mỗi notebook chỉ mất 15–20 phút để hoàn thành.

Với hơn 2.000 notebook, điều này tương đương:

• Khoảng 500–667 giờ tái phát triển trong hệ thống mới
• Trong khi cách thủ công có thể mất vài nghìn giờ công

Dù tổng số giờ tiết kiệm chính xác không được công bố, việc giảm từ "hàng giờ" xuống "vài phút" cho mỗi notebook cho thấy mức tăng năng suất rất đáng kể.

Vì sao đây là một ví dụ GenAI thực tế đáng chú ý

Nhiều dự án GenAI trong doanh nghiệp gặp khó vì khó chứng minh giá trị vận hành. Trường hợp của Deutsche Börse nổi bật vì nó giải quyết một bottleneck kỹ thuật cụ thể và tốn kém.

Những yếu tố khiến dự án đáng chú ý gồm:

• Phạm vi rõ ràng: tập trung vào bài toán di chuyển notebook legacy
• Tự động hóa lai (hybrid): quy tắc xử lý phần cấu trúc, AI hỗ trợ phần cần suy luận
• Human‑in‑the‑loop: con người xác nhận logic — đặc biệt quan trọng trong lĩnh vực tài chính có nhiều quy định

Nhờ vậy, dự án tránh rủi ro của việc tạo code hoàn toàn tự động nhưng vẫn đạt được lợi ích năng suất đáng kể.

Một phần của chiến lược chuyển đổi cloud lớn hơn

Việc di chuyển notebook cũng nằm trong chiến lược hiện đại hóa hạ tầng dữ liệu rộng hơn của Deutsche Börse.

Ví dụ, công ty đã tái kiến trúc các hệ thống quan trọng như hạ tầng DAX trên Google Cloud, đạt được:

• Giảm 33% tổng chi phí sở hữu (TCO)
• Di chuyển hơn 60 ứng dụng
• Giảm 85% thời gian khôi phục thảm họa cho hệ thống SAP quan trọng

Tập đoàn cũng cho biết hơn 50% workload đã chạy trên cloud, cho thấy sự chuyển dịch mạnh sang hạ tầng dữ liệu hiện đại và mở rộng.

Trong quá trình này, việc hiện đại hóa các tài sản phân tích như notebook là yếu tố bắt buộc — nếu không, nền tảng cloud mới sẽ không thể phát huy toàn bộ giá trị.

Kết luận

Cách tiếp cận của Deutsche Börse cho thấy một mô hình thực tế để áp dụng generative AI trong kỹ thuật doanh nghiệp:

• Tự động hóa phần việc có quy tắc bằng phần mềm truyền thống
• Dùng GenAI cho các phần cần diễn giải và tái tạo
• Giữ con người trong vòng kiểm soát đối với logic nghiệp vụ

Bằng cách kết hợp các yếu tố này trong một Databricks App tùy chỉnh, Deutsche Börse đã biến một dự án di chuyển dữ liệu khổng lồ thành quy trình bán tự động — giảm thời gian xử lý xuống chỉ còn vài phút cho mỗi notebook trong khi vẫn giữ được kiểm soát đối với logic phân tích quan trọng.