คำตอบการวิจัย
ประเด็นสำคัญ Deutsche Börse ย้าย Apache Zeppelin notebooks มากกว่า 2,000 ไฟล์จาก Cloudera ไปยัง Databricks ด้วยแอป Databricks ที่ผสาน Generative AI เพื่อช่วยสร้าง logic ใหม่ ระบบแยกงานออกเป็นสองส่วนคือการแปลงโครงสร้างโน้ตบุ๊กแบบอัตโนมัติ และการสร้างหรือปรับ logic ทางธุรกิจโดยมี AI ช่วยและมนุษย์ตรวจสอบ เวลาพัฒนาโน้ตบุ๊กใหม่ลดจากหลายชั่วโมงเหลือประมาณ 15–20 นาทีต่อไฟล์ ทำให้การย้ายระบบขนาดใหญ่ใช้เวลารวมราว 500–667 ชั่วโมงแทนที่จะเป็นหลายพันชั่วโมง How did Deutsche Börse use a custom GenAI-powered Databricks App to migrate more than 2,000 Zeppelin notebooks from Cloudera to Databricks a Deutsche Börse used a custom Databricks App combining deterministic conversion and generative AI to migrate thousands of Zeppelin notebooks. AI พรอมต์ Create a landscape editorial hero image for this Studio Global article: How did Deutsche Börse use a custom GenAI-powered Databricks App to migrate more than 2,000 Zeppelin notebooks from Cloudera to Databricks a. Article summary: Deutsche Börse’s StatistiX team built a custom Databricks App to turn a 2,000+ Zeppelin-notebook migration into a semi-automated, AI-assisted workflow: deterministic code handled notebook structure, while GenAI helped us. Topic tags: general, documentation, general web, user generated. Reference image context from search candidates: Reference image 1: visual subject "# Introducing Databricks GenAI Partner Accelerators for Data Engineering & Migration. Speed up data engineering and data migration with GenAI and agentic accelerators built by Data" source context "Introducing Databricks GenAI Partner Accelerators for Data Engineering & Migration | Databricks Blog"
openai.com การย้ายแพลตฟอร์มข้อมูลขนาดใหญ่ในองค์กร มักไม่ได้ยากเพราะโครงสร้างพื้นฐาน แต่ยากเพราะ ทรัพย์สินด้านการวิเคราะห์ (analytics artifacts) ที่สะสมอยู่จำนวนมาก เช่น notebook ที่มีโค้ดและตรรกะทางธุรกิจอยู่ภายใน
Deutsche Börse ผู้ดำเนินการตลาดหลักทรัพย์รายใหญ่ของยุโรปต้องเผชิญโจทย์นี้โดยตรง เมื่อทีม StatistiX ต้องย้าย Apache Zeppelin notebooks มากกว่า 2,000 ไฟล์ จากระบบ Cloudera ไปยัง Databricks ก่อนที่สภาพแวดล้อมเดิมจะถูกยกเลิกใช้งาน
แทนที่จะใช้ AI แปลโค้ดทั้งหมดในครั้งเดียว ซึ่งมีความเสี่ยงสูง ทีมงานเลือกสร้าง Databricks App แบบกำหนดเองที่ใช้ Generative AI โดยแบ่งปัญหาออกเป็นสองส่วนหลัก: การแปลงโครงสร้างแบบกำหนดกฎ และการสร้างตรรกะใหม่โดยมี AI ช่วย
คนยังถาม คำตอบสั้น ๆ สำหรับ "เบื้องหลังการย้าย Zeppelin Notebook กว่า 2,000 ไฟล์ของ Deutsche Börse ด้วย GenAI" คืออะไร Deutsche Börse ย้าย Apache Zeppelin notebooks มากกว่า 2,000 ไฟล์จาก Cloudera ไปยัง Databricks ด้วยแอป Databricks ที่ผสาน Generative AI เพื่อช่วยสร้าง logic ใหม่
ประเด็นสำคัญที่ต้องตรวจสอบก่อนคืออะไร? Deutsche Börse ย้าย Apache Zeppelin notebooks มากกว่า 2,000 ไฟล์จาก Cloudera ไปยัง Databricks ด้วยแอป Databricks ที่ผสาน Generative AI เพื่อช่วยสร้าง logic ใหม่ ระบบแยกงานออกเป็นสองส่วนคือการแปลงโครงสร้างโน้ตบุ๊กแบบอัตโนมัติ และการสร้างหรือปรับ logic ทางธุรกิจโดยมี AI ช่วยและมนุษย์ตรวจสอบ
ฉันควรทำอย่างไรต่อไปในทางปฏิบัติ? เวลาพัฒนาโน้ตบุ๊กใหม่ลดจากหลายชั่วโมงเหลือประมาณ 15–20 นาทีต่อไฟล์ ทำให้การย้ายระบบขนาดใหญ่ใช้เวลารวมราว 500–667 ชั่วโมงแทนที่จะเป็นหลายพันชั่วโมง
ทำไมต้องย้ายจาก Zeppelin หนึ่งในแรงผลักดันสำคัญคือสถานะของ Apache Zeppelin ในระบบของ Cloudera
เอกสารของ Cloudera ระบุว่า Zeppelin ถูกประกาศเลิกใช้งาน (deprecated) และไม่รองรับใน runtime รุ่นใหม่อีกต่อไป ทำให้การพึ่งพาระบบนี้ในระยะยาวมีความเสี่ยง
สำหรับ Deutsche Börse ปัญหาไม่ได้อยู่แค่การเปลี่ยนเครื่องมือ แต่เป็นเรื่องของขนาดงาน เนื่องจากโน้ตบุ๊กกว่า 2,000 รายการมีทั้ง workflow การวิเคราะห์ข้อมูล การแปลงข้อมูล และตรรกะทางธุรกิจที่สะสมมาหลายปี
การสร้างใหม่ทั้งหมดด้วยมือจะใช้เวลามหาศาลและยากต่อการประสานงานระหว่างหลายทีม
แนวคิดสำคัญ: แยก “โครงสร้าง” ออกจาก “ตรรกะ” ทีมพัฒนาพบว่า notebook มีองค์ประกอบสองประเภทที่แตกต่างกันโดยสิ้นเชิง
1. การแปลงโครงสร้าง (deterministic) องค์ประกอบบางอย่างของ Zeppelin notebook สามารถแปลงได้ตามกฎที่ชัดเจน เช่น
แปลง paragraph ของ Zeppelin ให้เป็น cell ของ Databricks
แปล syntax ของ interpreter
ปรับรูปแบบ metadata
งานลักษณะนี้ สามารถทำด้วยโค้ดอัตโนมัติแบบกำหนดกฎได้ โดยไม่จำเป็นต้องใช้ AI
2. การสร้างตรรกะใหม่ (AI-assisted) ส่วนที่ยากจริง ๆ คือ logic ภายใน notebook เช่น
ขั้นตอนการวิเคราะห์ข้อมูล
การแปลงข้อมูล
เจตนาของการคำนวณหรือโมเดล
ระบบจึงใช้ Generative AI เพื่อช่วยผู้ใช้สร้าง logic ใหม่ โดยสร้าง prompt ที่มีบริบทสำหรับ Databricks Genie ซึ่งช่วยอธิบายและสร้างขั้นตอนการวิเคราะห์ใหม่ตาม intent เดิมของ notebook
แนวทางนี้ยังคงให้มนุษย์เป็นผู้ตรวจสอบ เพื่อให้แน่ใจว่าตรรกะทางธุรกิจยังถูกต้อง
สถาปัตยกรรมของเครื่องมือ เครื่องมือทั้งหมดถูกพัฒนาเป็น Databricks App ทำให้ผู้ใช้สามารถทำขั้นตอนย้ายระบบได้จากภายใน Databricks โดยตรง ไม่ต้องใช้เครื่องมือภายนอก
องค์ประกอบหลักของระบบประกอบด้วย
อินเทอร์เฟซสำหรับให้ผู้ใช้ดำเนินการย้าย notebook
ระบบอัตโนมัติที่แปลงโครงสร้าง Zeppelin เป็น Databricks
ระบบสร้าง prompt สำหรับ Generative AI
ขั้นตอนตรวจสอบโดยผู้ใช้ก่อนใช้งานจริง
ด้วยวิธีนี้ ผู้ใช้ธุรกิจหรือ analyst สามารถมีส่วนร่วมในการย้าย notebook ของตนเองได้ โดยยังคงมี governance และการควบคุมจากทีมเทคนิค
ขั้นตอนการย้ายโน้ตบุ๊ก กระบวนการย้ายโดยทั่วไปมี 4 ขั้นตอน
1. นำเข้าโน้ตบุ๊ก
2. แปลงโครงสร้างอัตโนมัติ
3. ใช้ AI ช่วยสร้าง logic ใหม่
4. ตรวจสอบโดยมนุษย์
โมเดลนี้จึงเป็น workflow แบบ hybrid ที่รวม automation, AI และ human oversight
เครื่องมือนี้ช่วยประหยัดเวลาเท่าไร ก่อนมีเครื่องมือใหม่นี้ การพัฒนา notebook ใหม่จากของเดิมต้องใช้ หลายชั่วโมงต่อไฟล์
หลังใช้ Databricks App เวลาลดลงเหลือประมาณ 15–20 นาทีต่อ notebook
หากคำนวณสำหรับโน้ตบุ๊กกว่า 2,000 รายการ หมายความว่า
ใช้เวลาพัฒนารวมประมาณ 500–667 ชั่วโมง
หากทำด้วยมือทั้งหมด อาจใช้เวลา หลายพันชั่วโมง
แม้จะไม่มีตัวเลขรวมที่ประกาศอย่างเป็นทางการ แต่การลดเวลาจากระดับ “ชั่วโมง” เหลือ “นาที” ต่อไฟล์ ถือเป็นการเพิ่มประสิทธิภาพอย่างมาก
ตัวอย่างการใช้ GenAI ที่จับต้องได้ หลายโครงการ GenAI ในองค์กรยังหาผลลัพธ์ทางธุรกิจที่ชัดเจนได้ยาก แต่กรณีของ Deutsche Börse ถูกมองว่าเป็นตัวอย่างที่ใช้งานได้จริง เพราะ
โจทย์ชัดเจน: ย้ายโน้ตบุ๊กจำนวนมากจากระบบเก่า
ใช้ automation กับงานที่คาดเดาได้
ใช้ AI เฉพาะจุดที่ต้องตีความ
ให้มนุษย์ตรวจสอบตรรกะสำคัญ
แนวทางนี้ช่วยลดความเสี่ยงของการให้ AI เขียนโค้ดทั้งหมดโดยอัตโนมัติ โดยยังคงได้ประโยชน์ด้าน productivity
ส่วนหนึ่งของการเปลี่ยนผ่านสู่คลาวด์ โครงการนี้ยังเป็นส่วนหนึ่งของการปรับโครงสร้างเทคโนโลยีครั้งใหญ่ของ Deutsche Börse
บริษัทได้ย้ายระบบสำคัญหลายระบบไปยังคลาวด์ เช่น การปรับสถาปัตยกรรมของระบบ DAX บน Google Cloud ซึ่งช่วยให้
ลดต้นทุนรวมของระบบลง 33%
ย้ายแอปพลิเคชันมากกว่า 60 ระบบ
ลดเวลา disaster recovery ของระบบ SAP สำคัญลง 85%
นอกจากนี้ Deutsche Börse ยังรายงานว่า มากกว่า 50% ของ workload อยู่บนคลาวด์แล้ว ซึ่งสะท้อนกลยุทธ์ระยะยาวในการสร้างโครงสร้างข้อมูลที่ยืดหยุ่นและรองรับ AI ได้ดีขึ้น
บทเรียนจากกรณีนี้ แนวทางของ Deutsche Börse แสดงให้เห็นโมเดลที่ใช้ GenAI ในงานวิศวกรรมองค์กรได้จริง
ใช้ซอฟต์แวร์อัตโนมัติกับงานที่กำหนดกฎได้
ใช้ Generative AI กับงานที่ต้องตีความ
ให้มนุษย์ตรวจสอบส่วนที่เป็นตรรกะธุรกิจ
ด้วยการรวมองค์ประกอบเหล่านี้ไว้ใน Databricks App เดียว โครงการที่ดูเหมือนจะต้องใช้แรงงานมหาศาลจึงกลายเป็น workflow กึ่งอัตโนมัติที่ใช้เวลาเพียงไม่กี่นาทีต่อ notebook ขณะยังคงควบคุมคุณภาพของตรรกะวิเคราะห์ได้
cloud.google.com Deutsche Börse Group case study | Google Cloud 