Di Balik Migrasi 2.000+ Notebook Zeppelin Deutsche Börse dengan Bantuan GenAI

Insight Desain Utama: Pisahkan Struktur dan Logika

Daripada mengandalkan satu prompt AI untuk menerjemahkan seluruh notebook, tim merancang sistem dengan dua jenis pekerjaan yang berbeda.

1. Konversi struktur (deterministik)

Beberapa elemen notebook Zeppelin bersifat mekanis dan dapat diprediksi, misalnya:

• Mengubah paragraph Zeppelin menjadi cell di notebook Databricks
• Menerjemahkan sintaks interpreter
• Memformat ulang metadata notebook

Karena aturan konversinya jelas, proses ini dapat ditangani dengan kode otomatis biasa tanpa AI generatif.

2. Rekonstruksi logika (dibantu AI)

Bagian tersulit adalah logika analitik dan bisnis di dalam notebook. Transformasi data, tujuan analisis, dan alur kerja sering memerlukan interpretasi.

Di sinilah generative AI digunakan. Aplikasi menghasilkan prompt yang sadar konteks untuk layanan AI Databricks Genie, membantu pengguna memahami maksud setiap langkah notebook dan menulis ulang logika tersebut di Databricks.

Pengguna tetap berada “in the loop” untuk memverifikasi hasilnya—hal yang penting terutama dalam lingkungan keuangan yang sangat teregulasi.

Pendekatan ini membuat sistem lebih andal: otomatisasi menangani pekerjaan yang pasti, sementara AI membantu pekerjaan yang membutuhkan interpretasi.

Arsitektur Aplikasi Databricks

Alat migrasi ini dikemas sebagai Databricks App, sehingga pengguna dapat menjalankan seluruh proses langsung di lingkungan Databricks tanpa alat eksternal.

Secara garis besar, komponennya meliputi:

• Antarmuka pengguna yang memandu proses migrasi notebook
• Mesin otomatis untuk mengonversi struktur notebook Zeppelin
• Sistem prompt kontekstual untuk menghasilkan query AI
• Validasi manusia untuk memeriksa logika notebook yang direkonstruksi

Dengan desain ini, bahkan pengguna bisnis dapat ikut memigrasikan notebook mereka sendiri tanpa kehilangan kontrol tata kelola data.

Workflow Migrasi Notebook

Proses migrasi biasanya berlangsung dalam empat tahap utama.

1. Ingest notebook
Pengguna mengekspor notebook Zeppelin lalu mengunggahnya ke aplikasi Databricks.

2. Konversi struktur
Aturan otomatis mengubah struktur paragraph, sintaks interpreter, dan metadata menjadi format notebook Databricks.

3. Rekonstruksi logika dengan AI
Sistem membuat prompt kontekstual yang membantu membangun kembali logika analitik menggunakan alat Databricks dengan bantuan Databricks Genie.

4. Validasi manusia
Pengguna meninjau dan menyempurnakan notebook untuk memastikan hasilnya benar dan sesuai dengan kebutuhan bisnis.

Workflow hybrid ini menggabungkan otomasi, generative AI, dan kontrol manusia.

Dampak terhadap Waktu Pengerjaan

Sebelum alat ini dibuat, mengembangkan ulang satu notebook biasanya memakan waktu beberapa jam.

Dengan workflow baru:

• Migrasi hanya membutuhkan sekitar 15–20 menit per notebook.

Jika dihitung untuk 2.000 notebook, waktu kerja yang dibutuhkan menjadi kira‑kira:

• 500–667 jam total pengerjaan

Tanpa alat tersebut, pengerjaan manual bisa memakan beberapa ribu jam kerja. Walau angka pasti penghematan waktu tidak dipublikasikan, penurunan dari jam menjadi menit menunjukkan peningkatan produktivitas yang signifikan.

Mengapa Ini Contoh Nyata Pemanfaatan GenAI

Banyak proyek generative AI sulit menunjukkan nilai operasional yang jelas. Kasus Deutsche Börse berbeda karena menargetkan bottleneck teknik yang sangat spesifik.

Pendekatan ini menonjol karena beberapa alasan:

• Ruang lingkup jelas – fokus pada migrasi notebook lama.
• Otomasi hybrid – pekerjaan deterministik diotomatisasi, sementara AI membantu interpretasi.
• Human‑in‑the‑loop – analis tetap memverifikasi logika bisnis.

Pendekatan ini menghindari risiko generasi kode otomatis sepenuhnya, tetapi tetap memberikan peningkatan efisiensi yang besar.

Bagian dari Transformasi Cloud Deutsche Börse

Migrasi notebook ini juga merupakan bagian dari transformasi teknologi yang lebih luas di Deutsche Börse.

Perusahaan telah memindahkan banyak sistem inti ke cloud. Dalam salah satu proyeknya, sistem indeks DAX direkayasa ulang di Google Cloud, menghasilkan beberapa dampak seperti:

• 33% penurunan total cost of ownership (TCO)
• Migrasi lebih dari 60 aplikasi
• 85% pengurangan waktu pemulihan bencana untuk sistem SAP penting

Perusahaan juga melaporkan bahwa lebih dari 50% workload mereka sudah berjalan di cloud, menandai langkah besar menuju infrastruktur data yang lebih fleksibel dan skalabel.

Dalam konteks ini, memigrasikan aset analitik seperti notebook menjadi langkah penting. Tanpa memodernisasi artefak analitik tersebut, platform cloud baru tidak dapat dimanfaatkan secara maksimal.

Intinya

Pendekatan Deutsche Börse menunjukkan cara pragmatis menggunakan generative AI dalam rekayasa perangkat lunak perusahaan:

• Otomatiskan pekerjaan yang bersifat deterministik
• Gunakan AI untuk interpretasi dan rekonstruksi
• Pertahankan kontrol manusia untuk logika bisnis penting

Dengan menggabungkan ketiga elemen tersebut dalam aplikasi Databricks khusus, Deutsche Börse berhasil mengubah proyek migrasi besar menjadi workflow semi‑otomatis—memangkas waktu pengerjaan dari jam menjadi menit per notebook tanpa mengorbankan kontrol dan akurasi analitik.