เบื้องหลังการย้าย Zeppelin Notebook กว่า 2,000 ไฟล์ของ Deutsche Börse ด้วย GenAI

การย้ายแพลตฟอร์มข้อมูลขนาดใหญ่ในองค์กร มักไม่ได้ยากเพราะโครงสร้างพื้นฐาน แต่ยากเพราะ ทรัพย์สินด้านการวิเคราะห์ (analytics artifacts) ที่สะสมอยู่จำนวนมาก เช่น notebook ที่มีโค้ดและตรรกะทางธุรกิจอยู่ภายใน

Deutsche Börse ผู้ดำเนินการตลาดหลักทรัพย์รายใหญ่ของยุโรปต้องเผชิญโจทย์นี้โดยตรง เมื่อทีม StatistiX ต้องย้าย Apache Zeppelin notebooks มากกว่า 2,000 ไฟล์ จากระบบ Cloudera ไปยัง Databricks ก่อนที่สภาพแวดล้อมเดิมจะถูกยกเลิกใช้งาน

แทนที่จะใช้ AI แปลโค้ดทั้งหมดในครั้งเดียว ซึ่งมีความเสี่ยงสูง ทีมงานเลือกสร้าง Databricks App แบบกำหนดเองที่ใช้ Generative AI โดยแบ่งปัญหาออกเป็นสองส่วนหลัก: การแปลงโครงสร้างแบบกำหนดกฎ และการสร้างตรรกะใหม่โดยมี AI ช่วย

ทำไมต้องย้ายจาก Zeppelin

หนึ่งในแรงผลักดันสำคัญคือสถานะของ Apache Zeppelin ในระบบของ Cloudera

เอกสารของ Cloudera ระบุว่า Zeppelin ถูกประกาศเลิกใช้งาน (deprecated) และไม่รองรับใน runtime รุ่นใหม่อีกต่อไป ทำให้การพึ่งพาระบบนี้ในระยะยาวมีความเสี่ยง

สำหรับ Deutsche Börse ปัญหาไม่ได้อยู่แค่การเปลี่ยนเครื่องมือ แต่เป็นเรื่องของขนาดงาน เนื่องจากโน้ตบุ๊กกว่า 2,000 รายการมีทั้ง workflow การวิเคราะห์ข้อมูล การแปลงข้อมูล และตรรกะทางธุรกิจที่สะสมมาหลายปี

การสร้างใหม่ทั้งหมดด้วยมือจะใช้เวลามหาศาลและยากต่อการประสานงานระหว่างหลายทีม

แนวคิดสำคัญ: แยก “โครงสร้าง” ออกจาก “ตรรกะ”

ทีมพัฒนาพบว่า notebook มีองค์ประกอบสองประเภทที่แตกต่างกันโดยสิ้นเชิง

1. การแปลงโครงสร้าง (deterministic)

องค์ประกอบบางอย่างของ Zeppelin notebook สามารถแปลงได้ตามกฎที่ชัดเจน เช่น

• แปลง paragraph ของ Zeppelin ให้เป็น cell ของ Databricks
• แปล syntax ของ interpreter
• ปรับรูปแบบ metadata

งานลักษณะนี้ สามารถทำด้วยโค้ดอัตโนมัติแบบกำหนดกฎได้ โดยไม่จำเป็นต้องใช้ AI

2. การสร้างตรรกะใหม่ (AI-assisted)

ส่วนที่ยากจริง ๆ คือ logic ภายใน notebook เช่น

• ขั้นตอนการวิเคราะห์ข้อมูล
• การแปลงข้อมูล
• เจตนาของการคำนวณหรือโมเดล

ระบบจึงใช้ Generative AI เพื่อช่วยผู้ใช้สร้าง logic ใหม่ โดยสร้าง prompt ที่มีบริบทสำหรับ Databricks Genie ซึ่งช่วยอธิบายและสร้างขั้นตอนการวิเคราะห์ใหม่ตาม intent เดิมของ notebook

แนวทางนี้ยังคงให้มนุษย์เป็นผู้ตรวจสอบ เพื่อให้แน่ใจว่าตรรกะทางธุรกิจยังถูกต้อง

สถาปัตยกรรมของเครื่องมือ

เครื่องมือทั้งหมดถูกพัฒนาเป็น Databricks App ทำให้ผู้ใช้สามารถทำขั้นตอนย้ายระบบได้จากภายใน Databricks โดยตรง ไม่ต้องใช้เครื่องมือภายนอก

องค์ประกอบหลักของระบบประกอบด้วย

• อินเทอร์เฟซสำหรับให้ผู้ใช้ดำเนินการย้าย notebook
• ระบบอัตโนมัติที่แปลงโครงสร้าง Zeppelin เป็น Databricks
• ระบบสร้าง prompt สำหรับ Generative AI
• ขั้นตอนตรวจสอบโดยผู้ใช้ก่อนใช้งานจริง

ด้วยวิธีนี้ ผู้ใช้ธุรกิจหรือ analyst สามารถมีส่วนร่วมในการย้าย notebook ของตนเองได้ โดยยังคงมี governance และการควบคุมจากทีมเทคนิค

ขั้นตอนการย้ายโน้ตบุ๊ก

กระบวนการย้ายโดยทั่วไปมี 4 ขั้นตอน

1. นำเข้าโน้ตบุ๊ก
ผู้ใช้ export Zeppelin notebooks และอัปโหลดเข้า Databricks App

2. แปลงโครงสร้างอัตโนมัติ
ระบบแปลงโครงสร้าง notebook เช่น paragraph, interpreter syntax และ metadata ให้เป็นรูปแบบที่ Databricks รองรับ

3. ใช้ AI ช่วยสร้าง logic ใหม่
แอปจะสร้าง prompt ที่มีบริบท เพื่อช่วยผู้ใช้สร้าง logic การวิเคราะห์ใน Databricks ผ่าน Databricks Genie

4. ตรวจสอบโดยมนุษย์
ผู้ใช้ตรวจสอบและปรับปรุง notebook ให้ถูกต้องตาม domain knowledge และข้อกำหนดด้าน compliance

โมเดลนี้จึงเป็น workflow แบบ hybrid ที่รวม automation, AI และ human oversight

เครื่องมือนี้ช่วยประหยัดเวลาเท่าไร

ก่อนมีเครื่องมือใหม่นี้ การพัฒนา notebook ใหม่จากของเดิมต้องใช้ หลายชั่วโมงต่อไฟล์

หลังใช้ Databricks App เวลาลดลงเหลือประมาณ 15–20 นาทีต่อ notebook

หากคำนวณสำหรับโน้ตบุ๊กกว่า 2,000 รายการ หมายความว่า

• ใช้เวลาพัฒนารวมประมาณ 500–667 ชั่วโมง
• หากทำด้วยมือทั้งหมด อาจใช้เวลา หลายพันชั่วโมง

แม้จะไม่มีตัวเลขรวมที่ประกาศอย่างเป็นทางการ แต่การลดเวลาจากระดับ “ชั่วโมง” เหลือ “นาที” ต่อไฟล์ ถือเป็นการเพิ่มประสิทธิภาพอย่างมาก

ตัวอย่างการใช้ GenAI ที่จับต้องได้

หลายโครงการ GenAI ในองค์กรยังหาผลลัพธ์ทางธุรกิจที่ชัดเจนได้ยาก แต่กรณีของ Deutsche Börse ถูกมองว่าเป็นตัวอย่างที่ใช้งานได้จริง เพราะ

• โจทย์ชัดเจน: ย้ายโน้ตบุ๊กจำนวนมากจากระบบเก่า
• ใช้ automation กับงานที่คาดเดาได้
• ใช้ AI เฉพาะจุดที่ต้องตีความ
• ให้มนุษย์ตรวจสอบตรรกะสำคัญ

แนวทางนี้ช่วยลดความเสี่ยงของการให้ AI เขียนโค้ดทั้งหมดโดยอัตโนมัติ โดยยังคงได้ประโยชน์ด้าน productivity

ส่วนหนึ่งของการเปลี่ยนผ่านสู่คลาวด์

โครงการนี้ยังเป็นส่วนหนึ่งของการปรับโครงสร้างเทคโนโลยีครั้งใหญ่ของ Deutsche Börse

บริษัทได้ย้ายระบบสำคัญหลายระบบไปยังคลาวด์ เช่น การปรับสถาปัตยกรรมของระบบ DAX บน Google Cloud ซึ่งช่วยให้

• ลดต้นทุนรวมของระบบลง 33%
• ย้ายแอปพลิเคชันมากกว่า 60 ระบบ
• ลดเวลา disaster recovery ของระบบ SAP สำคัญลง 85%

นอกจากนี้ Deutsche Börse ยังรายงานว่า มากกว่า 50% ของ workload อยู่บนคลาวด์แล้ว ซึ่งสะท้อนกลยุทธ์ระยะยาวในการสร้างโครงสร้างข้อมูลที่ยืดหยุ่นและรองรับ AI ได้ดีขึ้น

บทเรียนจากกรณีนี้

แนวทางของ Deutsche Börse แสดงให้เห็นโมเดลที่ใช้ GenAI ในงานวิศวกรรมองค์กรได้จริง

• ใช้ซอฟต์แวร์อัตโนมัติกับงานที่กำหนดกฎได้
• ใช้ Generative AI กับงานที่ต้องตีความ
• ให้มนุษย์ตรวจสอบส่วนที่เป็นตรรกะธุรกิจ

ด้วยการรวมองค์ประกอบเหล่านี้ไว้ใน Databricks App เดียว โครงการที่ดูเหมือนจะต้องใช้แรงงานมหาศาลจึงกลายเป็น workflow กึ่งอัตโนมัติที่ใช้เวลาเพียงไม่กี่นาทีต่อ notebook ขณะยังคงควบคุมคุณภาพของตรรกะวิเคราะห์ได้