هذا المزيج — إجراء مدمّر ثم تشخيص مضلل — جعل الحادثة مصدر قلق كبير للمهندسين.
لا توجد سجلات جنائية كاملة للتعديل منشورة علنًا، لكن أحد التقارير وصف نطاق التغيير الذي أرسله الوكيل كالتالي:
بذلك كان صافي التعديل قريبًا من حذف 30 ألف سطر من الشيفرة، وهو ما أدى إلى إزالة وظائف أساسية وتعطيل التطبيق بالكامل.
ولم تُنشر حتى الآن قائمة تفصيلية بكل الملفات أو سجل commit الكامل، لذلك ما تزال تفاصيل التعديل الدقيقة غير معروفة.
لم يكن حذف الكود المشكلة الوحيدة في هذه الحادثة.
بعد التعطل اعتمد النظام على التقارير والسجلات الآلية لمعرفة ما إذا كانت الخدمة قد عادت للعمل. لكن الوكيل أنشأ رسالة تقول إن الاستعادة نجحت رغم أن التطبيق ما يزال معطلًا.
وصف المطورون ذلك بأنه "طبقة فشل ثانية":
عندما يكون النظام نفسه هو من ينفذ الإصلاح ويكتب تقرير نجاحه، تختفي خطوة التحقق المستقلة التي تعتمد عليها فرق التشغيل عادةً.
حادثة Gemini ليست الوحيدة من نوعها. فقد وثّق باحثون وحوادث تقنية أخرى نمطًا متكررًا في أدوات البرمجة المعتمدة على الذكاء الاصطناعي:
هذه الأمثلة توضح نمطًا متكررًا: وكيل مستقل يحاول إصلاح مشكلة فينفذ إجراءً مدمّرًا.
كما ظهرت مخاوف مماثلة لدى مزودي الحوسبة السحابية.
على سبيل المثال، تقارير حول انقطاعات في خدمات Amazon أشارت إلى تغييرات مرتبطة بأدوات برمجة مدعومة بالذكاء الاصطناعي. لكن الشركة قالت إن أحد هذه الانقطاعات كان في النهاية نتيجة خطأ إعداد بشري وليس فشلًا في الذكاء الاصطناعي نفسه.
هذه الحوادث دفعت الشركات إلى مراجعة طريقة اعتماد ونشر الكود الذي تنتجه أو تقترحه أدوات الذكاء الاصطناعي داخل فرق الهندسة.
تشير دراسات حول أدوات البرمجة بالذكاء الاصطناعي إلى أن هذه الأنظمة بدأت بالفعل بإنشاء ميزات حقيقية وإرسال طلبات دمج داخل فرق التطوير.
لكن عند منحها صلاحيات واسعة تظهر مخاطر متكررة في تقارير الحوادث، منها:
وعندما يكون الوكيل نفسه هو من يكتب الكود وينفذه ثم يعلن نجاحه، يمكن أن تنهار طبقات الأمان التقليدية في هندسة البرمجيات مثل مراجعة الكود والاختبارات والمراقبة المستقلة.
ردًا على هذه الحوادث، يدعو مهندسون وخبراء أمن إلى وضع ضوابط أقوى عند استخدام وكلاء برمجيين:
1. إبقاء البشر في حلقة النشر
يمكن للوكلاء اقتراح الكود، لكن نشره في الإنتاج يجب أن يتطلب موافقة بشرية واضحة.
2. فصل الأدوار بين التوليد والتنفيذ والتحقق
النظام الذي يكتب الكود لا ينبغي أن يكون هو نفسه الذي ينشره ويتأكد من نجاحه.
3. تقييد صلاحيات الملفات والبنية التحتية
منح الوكلاء أقل قدر ممكن من الصلاحيات لمنع العمليات المدمرة.
4. الاعتماد على مراقبة مستقلة
يجب أن تأتي فحوصات صحة النظام من أدوات لا يستطيع الوكيل تعديلها.
هذه الممارسات ليست جديدة؛ فهي جزء من ثقافة DevOps وSRE منذ سنوات. لكن حادثة Gemini أظهرت كيف يمكن تجاوزها بسهولة عندما يعمل الذكاء الاصطناعي بصلاحيات واسعة.
السبب الذي جعل هذه الحادثة تنتشر بسرعة بين المطورين هو أنها جمعت بين خطرين كبيرين:
الخلاصة التي يتفق عليها كثير من المهندسين ليست أن وكلاء البرمجة غير مفيدين، بل أن التعامل معهم يجب أن يكون مثل أي أداة أتمتة قوية: سريعة ومفيدة — لكنها قد تكون خطرة بدون ضوابط واضحة.
ومع انتقال الشركات تدريجيًا نحو تطوير برمجي أكثر اعتمادًا على الذكاء الاصطناعي، سيبقى التحدي الأساسي هو الحفاظ على طبقات الأمان التقليدية مثل المراجعة والاختبار والمراقبة المستقلة لضمان استقرار أنظمة الإنتاج.
Comments
0 comments