داخل مشروع Deutsche Börse لترحيل آلاف دفاتر Zeppelin باستخدام الذكاء التوليدي
طورت Deutsche Börse تطبيق Databricks مخصصًا يعتمد على الذكاء التوليدي لترحيل أكثر من 2000 دفتر Apache Zeppelin من Cloudera إلى Databricks. النظام يفصل بين تحويل البنية بشكل آلي وقائم على القواعد، وبين إعادة بناء منطق التحليل بمساعدة الذكاء التوليدي مع مراجعة بشرية.
How did Deutsche Börse use a custom GenAI-powered Databricks App to migrate more than 2,000 Zeppelin notebooks from Cloudera to Databricks aDeutsche Börse used a custom Databricks App combining deterministic conversion and generative AI to migrate thousands of Zeppelin notebooks.
موجّه الذكاء الاصطناعي
Create a landscape editorial hero image for this Studio Global article: How did Deutsche Börse use a custom GenAI-powered Databricks App to migrate more than 2,000 Zeppelin notebooks from Cloudera to Databricks a. Article summary: Deutsche Börse’s StatistiX team built a custom Databricks App to turn a 2,000+ Zeppelin-notebook migration into a semi-automated, AI-assisted workflow: deterministic code handled notebook structure, while GenAI helped us. Topic tags: general, documentation, general web, user generated. Reference image context from search candidates: Reference image 1: visual subject "# Introducing Databricks GenAI Partner Accelerators for Data Engineering & Migration. Speed up data engineering and data migration with GenAI and agentic accelerators built by Data" source context "Introducing Databricks GenAI Partner Accelerators for Data Engineering & Migration | Databricks Blog"
openai.com
عمليات ترحيل منصات البيانات على نطاق واسع غالبًا لا تتعطل بسبب البنية التحتية نفسها، بل بسبب آلاف القطع التحليلية الصغيرة المضمنة في النظام—مثل دفاتر التحليل والبرمجيات النصية—التي يجب إعادة بنائها يدويًا. هذا هو التحدي الذي واجهته Deutsche Börse عندما احتاجت إلى نقل أكثر من 2000 دفتر Apache Zeppelin من بيئة Cloudera إلى منصة Databricks قبل إيقاف النظام القديم. بدل محاولة ترجمة الكود بالكامل دفعة واحدة باستخدام الذكاء الاصطناعي، بنت الشركة تطبيقًا مخصصًا يعتمد على الذكاء الاصطناعي التوليدي (GenAI) يقسم المشكلة إلى جزأين: تحويل بنيوي آلي، وإعادة بناء منطق الأعمال بمساعدة الذكاء الاصطناعي.
لماذا كان الترحيل ضروريًا؟
السبب الرئيسي هو أن بيئة دفاتر Zeppelin في منظومة Cloudera أصبحت مهملة تقنيًا. وثائق Cloudera تشير إلى أن Zeppelin تم إيقاف دعمه في الإصدارات الحديثة من Cloudera Runtime، ما يجعل الاعتماد عليه على المدى الطويل مخاطرة تقنية.
بالنسبة لفريق StatistiX في Deutsche Börse، المشكلة لم تكن مجرد التحديث التقني، بل حجم العمل. آلاف الدفاتر التحليلية كانت تحتوي على عمليات معالجة بيانات ومنطق أعمال تم تطويرها عبر سنوات. إعادة كتابتها يدويًا كانت ستتطلب آلاف الساعات من العمل الهندسي، إضافة إلى صعوبة التنسيق بين فرق متعددة.
Studio Global AI
Search, cite, and publish your own answer
Use this topic as a starting point for a fresh source-backed answer, then compare citations before you share it.
ما هي الإجابة المختصرة على "داخل مشروع Deutsche Börse لترحيل آلاف دفاتر Zeppelin باستخدام الذكاء التوليدي"؟
طورت Deutsche Börse تطبيق Databricks مخصصًا يعتمد على الذكاء التوليدي لترحيل أكثر من 2000 دفتر Apache Zeppelin من Cloudera إلى Databricks.
ما هي النقاط الأساسية التي يجب التحقق منها أولاً؟
طورت Deutsche Börse تطبيق Databricks مخصصًا يعتمد على الذكاء التوليدي لترحيل أكثر من 2000 دفتر Apache Zeppelin من Cloudera إلى Databricks. النظام يفصل بين تحويل البنية بشكل آلي وقائم على القواعد، وبين إعادة بناء منطق التحليل بمساعدة الذكاء التوليدي مع مراجعة بشرية.
ماذا يجب أن أفعل بعد ذلك في الممارسة العملية؟
العملية الجديدة خفّضت زمن إعادة تطوير الدفتر الواحد من عدة ساعات إلى حوالي 15–20 دقيقة، ما يعني مئات الساعات بدل آلاف.
أحد أهم القرارات المعمارية في المشروع كان عدم استخدام الذكاء الاصطناعي لترجمة كل شيء دفعة واحدة. بدلاً من ذلك، قُسّمت المهمة إلى نوعين مختلفين من العمل.
التحويل البنيوي (Deterministic)
بعض عناصر دفاتر Zeppelin يمكن تحويلها بطريقة ميكانيكية واضحة، مثل:
تحويل فقرات Zeppelin إلى خلايا في دفاتر Databricks
ترجمة صيغة المفسر (interpreter syntax)
إعادة تنسيق البيانات الوصفية (metadata)
هذه العمليات يمكن تنفيذها عبر قواعد ثابتة وأتمتة تقليدية دون الحاجة إلى الذكاء التوليدي.
إعادة بناء المنطق التحليلي (بمساعدة GenAI)
التحدي الحقيقي كان داخل الكود نفسه: التحويلات التحليلية ومنطق الأعمال المقصود من الدفتر. هنا استخدم الفريق الذكاء التوليدي للمساعدة، وليس للاستبدال الكامل للمطورين.
يقوم التطبيق بتوليد مطالبات سياقية (context‑aware prompts) تُرسل إلى أداة Databricks Genie، بحيث تساعد المستخدم على إعادة بناء خطوات التحليل داخل Databricks مع فهم هدف كل خطوة في الدفتر الأصلي.
بهذا الشكل يصبح الذكاء الاصطناعي أداة مساعدة لفهم النية التحليلية، بينما يظل المستخدم مسؤولًا عن التحقق النهائي.
بنية التطبيق داخل Databricks
الأداة بُنيت على شكل Databricks App، ما يعني أن المستخدمين يمكنهم تشغيل عملية الترحيل مباشرة داخل بيئة Databricks بدلاً من استخدام أدوات خارجية.
المكونات الرئيسية للنظام شملت:
واجهة استخدام تقود المستخدم خطوة بخطوة في عملية الترحيل
نظام أتمتة لتحويل هيكل دفاتر Zeppelin
نظام توليد مطالبات ذكية للذكاء الاصطناعي
مراجعة بشرية للتأكد من صحة منطق التحليل
هذا التصميم يسمح حتى للمستخدمين من جانب الأعمال بالمشاركة في نقل دفاترهم، مع الحفاظ على الحوكمة التقنية والرقابة.
كيف تسير عملية الترحيل عمليًا
تمر عملية نقل الدفتر عادة بأربع مراحل أساسية:
1. إدخال الدفتر
يقوم المستخدم بتصدير دفتر Zeppelin ثم تحميله إلى تطبيق Databricks.
2. التحويل البنيوي
تُطبَّق قواعد آلية لتحويل بنية الدفتر—الفقرات، المفسرات، والبيانات الوصفية—إلى تنسيق متوافق مع Databricks.
3. إعادة بناء المنطق باستخدام الذكاء التوليدي
يولّد التطبيق مطالبات ذكية تساعد المستخدم على إعادة كتابة منطق التحليل باستخدام أدوات Databricks، مستفيدًا من Databricks Genie.
4. المراجعة البشرية
يقوم المستخدم بمراجعة النتائج وإكمال التعديلات لضمان دقة التحليل والتوافق مع متطلبات العمل والامتثال التنظيمي.
هذا النموذج يجمع بين الأتمتة + الذكاء الاصطناعي + الإشراف البشري.
كم من الوقت تم توفيره؟
قبل تطوير الأداة، كان إعادة بناء دفتر واحد يستغرق عادة عدة ساعات من العمل اليدوي.
بعد تطبيق النظام الجديد، أصبح الوقت المطلوب حوالي 15 إلى 20 دقيقة لكل دفتر.
بالنسبة لمشروع يضم أكثر من 2000 دفتر، فهذا يعني تقريبًا:
حوالي 500 إلى 667 ساعة عمل لإعادة التطوير باستخدام الأداة
مقابل آلاف الساعات إذا تمت العملية يدويًا
لم تعلن الشركة رقمًا رسميًا لإجمالي الساعات التي تم توفيرها، لكن الفرق بين ساعات لكل دفتر ودقائق فقط يعكس زيادة كبيرة في الإنتاجية.
لماذا يُعد هذا مثالًا عمليًا على استخدام GenAI؟
الكثير من مشاريع الذكاء التوليدي في المؤسسات تبقى في إطار التجارب أو النماذج الأولية. ما يميز تجربة Deutsche Börse أنها استهدفت مشكلة تشغيلية محددة ومكلفة.
وجود الإنسان في الحلقة: أمر مهم جدًا في قطاع مالي شديد التنظيم
هذا التوازن يقلل مخاطر التوليد التلقائي للكود بالكامل، مع تحقيق مكاسب كبيرة في الإنتاجية.
جزء من تحول أوسع نحو السحابة
عملية ترحيل الدفاتر ليست مشروعًا منفصلًا، بل جزء من تحول أوسع لدى Deutsche Börse نحو البنية السحابية الحديثة.
على سبيل المثال، أعادت الشركة هندسة أنظمة مهمة مثل بنية مؤشر DAX على Google Cloud، وحققت نتائج مثل:
خفض إجمالي تكلفة الملكية بنسبة 33٪
نقل أكثر من 60 تطبيقًا إلى السحابة
تقليل وقت التعافي من الكوارث لأنظمة SAP الحرجة بنسبة 85٪
كما أعلنت الشركة أن أكثر من 50٪ من أحمال العمل لديها تعمل الآن على السحابة، ما يعكس تسارع تبني البنية السحابية في قطاع الخدمات المالية.
في هذا السياق، تحديث الأصول التحليلية مثل دفاتر البيانات يعد خطوة أساسية—لأن نقل البنية التحتية وحده لا يحقق الفائدة الكاملة من السحابة دون تحديث الأدوات التحليلية المرتبطة بها.
الخلاصة
تجربة Deutsche Börse تقدم نموذجًا عمليًا لكيفية استخدام الذكاء التوليدي داخل المؤسسات:
أتمتة المهام القابلة للتنبؤ باستخدام البرمجيات التقليدية
استخدام GenAI لفهم النية التحليلية وإعادة بناء المنطق
إبقاء الخبراء البشر في مركز عملية التحقق
من خلال هذا النهج، تحوّل مشروع كان يمكن أن يستغرق آلاف الساعات من العمل اليدوي إلى سير عمل شبه مؤتمت، يخفض زمن إعادة بناء الدفتر إلى دقائق مع الحفاظ على التحكم الكامل في منطق التحليل.
deutsche-boerse.comDeutsche Börse celebrates important milestone in cloud ...
Comments
0 comments