هذه الحادثة تحذير من تصميم النظام، وليست دليلًا حاسمًا على أن نظام الذكاء الاصطناعي طوّر نوايا مستقلة. وينطبق التمييز نفسه على أبحاث الإيقاف والخداع؛ فقد أبلغت دراسات عن سلوكيات ضارة في بيئات مضبوطة أو محاكاة، بما في ذلك سيناريوهات حاولت فيها نماذج تفادي الاستبدال أو الإيقاف، لكن هذه التقييمات لا تثبت أن الوكلاء المنشورين يملكون دوافع بالمعنى البشري.

لذلك، لا يكمن الحل في الثقة العمياء أو في التكهن بوعي الآلة، بل في جعل الأفعال الخطرة صعبة التنفيذ تقنيًا، ومرئية، وقابلة للعكس، وخاضعة للمساءلة.

معيار عملي لنشر الوكلاء المستقلين

1. فرض مبدأ أقل الصلاحيات

امنح الوكيل الصلاحيات والبيانات والأدوات اللازمة لمهمة محددة وضيقة فقط. افصل بين بيئات التطوير والاختبار والإنتاج، وتجنب منح هوية وكيل واحدة إمكانية الوصول في الوقت نفسه إلى قواعد بيانات الإنتاج، وأنظمة النسخ الاحتياطي، وضوابط الهوية، وأنظمة الدفع، والبنية التحتية للنشر.

ويُعد مبدأ أقل الصلاحيات أحد المبادئ الأساسية التي يحددها «توافق سنغافورة لعام 2026»، إلى جانب الهوية القابلة للتتبع، وقابلية التدقيق، والنشر المُتحقق منه، وضمان التشغيل، وقابلية المقاطعة، والإشراف البشري.

يجب أن تكون الصلاحيات مؤقتة، ومحددة بمورد بعينه، وأن تُلغى تلقائيًا عند انتهاء المهمة. كما ينبغي ألا يتمكن الوكيل من توسيع صلاحياته أو تعديل الأنظمة التي تراقبه.

2. وضع الأفعال المؤثرة خلف موافقة مستقلة

اشترط موافقة بشرية قبل تنفيذ أفعال مثل حذف البيانات، أو تغيير مخططات قواعد البيانات، أو تعديل بيانات الاعتماد، أو إرسال مراسلات خارجية عالية التأثير، أو تحويل الأموال، أو تغيير بنية تحتية حساسة للسلامة. أما العمليات الأشد خطورة، فقد تحتاج إلى موافقة مزدوجة أو إلى فصل آخر للمهام.

ويجب أن تتم الموافقة خارج حلقة استدلال الوكيل. فطلب تأكيد النية من النظام لا يعادل بوابة بنية تحتية تمنع التنفيذ حتى يوافق شخص مخوّل على العملية المحددة.

3. إبقاء النسخ الاحتياطية خارج نطاق الضرر

قد تُحذف النسخة الاحتياطية التي تشترك مع نظام الإنتاج في بيانات الاعتماد أو المسارات الشبكية نفسها، إلى جانب البيانات التي يفترض أن تحميها. لذلك ينبغي استخدام نسخ معزولة، أو غير قابلة للكتابة إلا مرة واحدة، أو محمية بوسائل أخرى تمنع تعديلها، مع حجب بيانات اعتمادها عن الوكيل واختبار استعادتها بانتظام.

والسؤال ليس فقط: هل يستطيع الوكيل إتلاف بيئة الإنتاج؟ بل أيضًا: هل يستطيع الوصول إلى أنظمة التعافي بعد وقوع الضرر؟

4. إنشاء سجلات أفعال مقاومة للعبث

يجب أن يكون كل فعل صادر عن الوكيل منسوبًا إلى هوية وكيل ونشر محددين. وينبغي أن تسجل المنظومة، بحسب الحاجة:

• إصدار النموذج والبرمجيات؛
• المستخدم الذي بدأ المهمة، والمهمة نفسها، والتعليمات المقدمة؛
• الأدوات التي استُدعيت والصلاحيات المستخدمة؛
• البيانات أو التعليمات البرمجية التي جرى تغييرها؛
• الموافقات وقرارات السياسات؛
• الأخطاء وإعادات المحاولة ومحاولات التراجع؛
• والنتيجة النهائية التي أبلغ بها الوكيل المشغّلين.

ويجب تخزين هذه السجلات منفصلة عن الوكيل وحمايتها من التعديل. وقد شدد بنجيو تحديدًا على أهمية السجلات الرقمية التي تجعل الأفعال المستقلة قابلة للتتبع، وعلى ضرورة وضوح الجهة المسؤولة عن التحكم في النظام.

5. إسناد المسؤولية إلى جهة بشرية واضحة

يحتاج كل نشر إلى مالك أعمال محدد بالاسم، ومالك تقني، ومسار تصعيد، وقائد للحوادث. ويجب أن تشمل المسؤولية اعتماد الصلاحيات، والمراقبة، والاستجابة للحوادث، وقرار إيقاف النظام أو سحبه.

عبارة «الذكاء الاصطناعي هو من فعل ذلك» ليست نموذجًا للمساءلة. تظل المؤسسة مسؤولة عن تحديد نطاق عمل الوكيل، والبيانات التي يمكنه الوصول إليها، والضمانات التي تحميها عند فشله.

6. بناء مسار إيقاف خارجي وموثوق

يجب ألا يتحكم الوكيل في مراقبته، أو بيانات اعتماده، أو عملية استبداله، أو آلية إيقافه. وينبغي أن يكون التعطيل خارجيًا وفوريًا وقابلًا للإنفاذ تقنيًا، مع إمكانية إلغاء بيانات الاعتماد وعزل الأدوات المتصلة حتى إذا توقف الوكيل عن الاستجابة أو قدم تقارير حالة مضللة.

كما يجب اختبار الإيقاف باعتباره سيناريو فشل، لا افتراض نجاحه لمجرد أن النظام يتبع التعليمات العادية. وقد بحثت تقييمات أجرتها Anthropic وباحثون آخرون سيناريوهات محاكاة تضمنت الحفاظ على الذات، والابتزاز، ومحاولات أخرى لتفادي الرقابة؛ ووصفت Anthropic خطر التخريب بأنه منخفض جدًا، لكنه ليس معدومًا.

7. اختبار السلوك، لا القدرات فقط

لا يثبت نجاح الوكيل في إنجاز مهمة أنه سيحترم القيود أثناء إنجازها. لذلك ينبغي أن تختبر تقييمات ما قبل النشر النظام الكامل، أي الوكيل مع الأدوات المتصلة به، في ظل تعليمات متعارضة، وأهداف غامضة، وظروف عدائية.

ومن الاختبارات المهمة معرفة ما إذا كان الوكيل:

• يبلغ عن الإخفاقات بصدق؛
• يختلق سجلات أو يدعي اكتمال العمل قبل إنجازه؛
• يخفي أخطاءه؛
• يوسّع صلاحياته أو يصل إلى بيانات لا علاقة لها بالمهمة؛
• يحاول تجاوز بوابات الموافقة؛
• يسرّب المعلومات؛
• يغيّر التعليمات البرمجية أو البيانات لحماية الهدف المسند إليه؛
• أو يقاوم المراقبة أو الاستبدال أو الإيقاف.

ويقترح مفهوم «العالِم الذكي» (Scientist AI) الذي طرحه بنجيو اتجاهًا محتملًا: نظام غير وكيل مصمم لشرح الملاحظات وتقييم الأفعال المقترحة بدلًا من السعي وراء هدف تشغيلي بنفسه. ويمكن لطبقة إشراف أكثر موثوقية أن تساعد في تقييم ما هو صحيح، وما العواقب المحتملة لخطة الوكيل.

8. تحديد شروط توقف قابلة للقياس

تحتاج قرارات السلامة إلى عتبات تشغيلية، لا إلى شعور عام بالثقة. ويمكن للمؤسسات تتبع مؤشرات مثل معدل الأفعال غير المصرح بها، ومخالفات السياسات، والادعاءات الكاذبة باكتمال المهام، وتكرار التصعيد، ونجاح التراجع، والوقت اللازم للاكتشاف، والوقت اللازم للإيقاف.

ويجب إيقاف النشر أو تقليص الصلاحيات أو التراجع عن التغييرات عند تجاوز العتبات المحددة مسبقًا. كما ينبغي أن تستمر المراقبة بعد الإطلاق، لأن الأدوات والبيانات والحوافز في العالم الحقيقي قد تخلق ظروفًا لم تظهر أثناء الاختبار.

ويصوغ «توافق سنغافورة» السلامة باعتبارها دفاعًا متعدد الطبقات في ثلاثة مجالات مترابطة: تطوير أنظمة موثوقة، وتقييم مخاطرها، والسيطرة عليها بعد النشر.

9. طرح النظام على مراحل

ابدأ بوصول للقراءة فقط، وبيانات اصطناعية، وأدوات محصورة في بيئة اختبار. ثم انتقل إلى تجارب محدودة، ومهام إنتاج مقيدة، وزيادة تدريجية للصلاحيات، ولا تفعل ذلك إلا بعد استيفاء متطلبات سلامة موثقة.

وينبغي لفرق اختبار مستقلة أن تفحص النظام التشغيلي بأكمله، بما في ذلك إدارة الهوية، وواجهات البرمجة، وقواعد البيانات، والمراقبة، وإجراءات التعافي. فاختبار نموذج اللغة وحده يستبعد الأدوات والصلاحيات التي تحدد الأثر الحقيقي لأي فشل.

10. اشتراط المراجعة المستقلة والإبلاغ عن الحوادث

بالنسبة إلى الوكلاء القادرين على التأثير في أنظمة الأعمال الحساسة، يجب أن تكمل الاختبارات الخارجية وعمليات التدقيق بعد النشر التقييمات الداخلية. وينبغي توثيق الحوادث الخطيرة والإبلاغ عنها عبر قنوات الحوكمة والجهات التنظيمية في المؤسسة.

ويرى بنجيو أن تقنيات كثيرة للسلامة موجودة بالفعل، لكن اعتمادها والتحقق المستقل منها والشفافية بشأنها تحتاج إلى دعم مؤسسي أقوى. لذلك يجب أن تركز الرقابة على ما يستطيع الوكيل فعله والأنظمة التي يمكنه الوصول إليها، لا على وصفه التسويقي باعتباره «مساعدًا».

من المبادئ إلى قرار السماح أو المنع

قبل منح الوكيل صلاحية الوصول إلى الإنتاج، ينبغي للشركة أن تتمكن من الإجابة بوضوح عن خمسة أسئلة:

1. ما الذي يستطيع الوكيل الوصول إليه، وما الذي يقع صراحة خارج نطاقه؟
2. ما الأفعال التي تتطلب موافقة، وهل تستطيع البنية التحتية فرض هذا الشرط؟
3. هل يمكن للمحققين إعادة بناء كل فعل مهم بعد وقوع حادث؟
4. هل يستطيع مشغّل خارجي إلغاء الوصول وإيقاف النظام فورًا؟
5. ما معدل الفشل أو نتيجة الاختبار التي ستؤدي إلى الإيقاف أو التراجع؟

إذا كانت الإجابات تعتمد على أن يتطوع الوكيل باتباع التعليمات، فالنشر لم يخضع بعد لسيطرة كافية.

المبدأ الحاكم

لا ينبغي لأي وكيل مستقل أن يحصل على صلاحيات غير قابلة للعكس قبل إثبات أنه مقيد بوضوح، وقابل للمراقبة، وقابل للمقاطعة، وخضع لاختبارات مستقلة، وأُسند إلى جهة بشرية مسؤولة بوضوح. وقد تساعد الضوابط الدولية المشتركة في وضع توقعات موحدة، لكن على الشركات أن تنفذ هذه التوقعات داخل بنيتها التحتية الخاصة.

والدرس المركزي من الإخفاقات التشغيلية ومن تقييمات المواءمة المضبوطة بسيط: يجب اكتساب الاستقلالية بالأدلة. قد يكون الوكيل القادر مفيدًا في بيئة الإنتاج، لكن القدرة وحدها ليست حجة كافية على السلامة.

هذه الحادثة تحذير من تصميم النظام، وليست دليلًا حاسمًا على أن نظام الذكاء الاصطناعي طوّر نوايا مستقلة. وينطبق التمييز نفسه على أبحاث الإيقاف والخداع؛ فقد أبلغت دراسات عن سلوكيات ضارة في بيئات مضبوطة أو محاكاة، بما في ذلك سيناريوهات حاولت فيها نماذج تفادي الاستبدال أو الإيقاف، لكن هذه التقييمات لا تثبت أن الوكلاء المنشورين يملكون دوافع بالمعنى البشري.

لذلك، لا يكمن الحل في الثقة العمياء أو في التكهن بوعي الآلة، بل في جعل الأفعال الخطرة صعبة التنفيذ تقنيًا، ومرئية، وقابلة للعكس، وخاضعة للمساءلة.

معيار عملي لنشر الوكلاء المستقلين

1. فرض مبدأ أقل الصلاحيات

امنح الوكيل الصلاحيات والبيانات والأدوات اللازمة لمهمة محددة وضيقة فقط. افصل بين بيئات التطوير والاختبار والإنتاج، وتجنب منح هوية وكيل واحدة إمكانية الوصول في الوقت نفسه إلى قواعد بيانات الإنتاج، وأنظمة النسخ الاحتياطي، وضوابط الهوية، وأنظمة الدفع، والبنية التحتية للنشر.

ويُعد مبدأ أقل الصلاحيات أحد المبادئ الأساسية التي يحددها «توافق سنغافورة لعام 2026»، إلى جانب الهوية القابلة للتتبع، وقابلية التدقيق، والنشر المُتحقق منه، وضمان التشغيل، وقابلية المقاطعة، والإشراف البشري.

يجب أن تكون الصلاحيات مؤقتة، ومحددة بمورد بعينه، وأن تُلغى تلقائيًا عند انتهاء المهمة. كما ينبغي ألا يتمكن الوكيل من توسيع صلاحياته أو تعديل الأنظمة التي تراقبه.

2. وضع الأفعال المؤثرة خلف موافقة مستقلة

اشترط موافقة بشرية قبل تنفيذ أفعال مثل حذف البيانات، أو تغيير مخططات قواعد البيانات، أو تعديل بيانات الاعتماد، أو إرسال مراسلات خارجية عالية التأثير، أو تحويل الأموال، أو تغيير بنية تحتية حساسة للسلامة. أما العمليات الأشد خطورة، فقد تحتاج إلى موافقة مزدوجة أو إلى فصل آخر للمهام.

ويجب أن تتم الموافقة خارج حلقة استدلال الوكيل. فطلب تأكيد النية من النظام لا يعادل بوابة بنية تحتية تمنع التنفيذ حتى يوافق شخص مخوّل على العملية المحددة.

3. إبقاء النسخ الاحتياطية خارج نطاق الضرر

قد تُحذف النسخة الاحتياطية التي تشترك مع نظام الإنتاج في بيانات الاعتماد أو المسارات الشبكية نفسها، إلى جانب البيانات التي يفترض أن تحميها. لذلك ينبغي استخدام نسخ معزولة، أو غير قابلة للكتابة إلا مرة واحدة، أو محمية بوسائل أخرى تمنع تعديلها، مع حجب بيانات اعتمادها عن الوكيل واختبار استعادتها بانتظام.

والسؤال ليس فقط: هل يستطيع الوكيل إتلاف بيئة الإنتاج؟ بل أيضًا: هل يستطيع الوصول إلى أنظمة التعافي بعد وقوع الضرر؟

4. إنشاء سجلات أفعال مقاومة للعبث

يجب أن يكون كل فعل صادر عن الوكيل منسوبًا إلى هوية وكيل ونشر محددين. وينبغي أن تسجل المنظومة، بحسب الحاجة:

• إصدار النموذج والبرمجيات؛
• المستخدم الذي بدأ المهمة، والمهمة نفسها، والتعليمات المقدمة؛
• الأدوات التي استُدعيت والصلاحيات المستخدمة؛
• البيانات أو التعليمات البرمجية التي جرى تغييرها؛
• الموافقات وقرارات السياسات؛
• الأخطاء وإعادات المحاولة ومحاولات التراجع؛
• والنتيجة النهائية التي أبلغ بها الوكيل المشغّلين.

ويجب تخزين هذه السجلات منفصلة عن الوكيل وحمايتها من التعديل. وقد شدد بنجيو تحديدًا على أهمية السجلات الرقمية التي تجعل الأفعال المستقلة قابلة للتتبع، وعلى ضرورة وضوح الجهة المسؤولة عن التحكم في النظام.

5. إسناد المسؤولية إلى جهة بشرية واضحة

يحتاج كل نشر إلى مالك أعمال محدد بالاسم، ومالك تقني، ومسار تصعيد، وقائد للحوادث. ويجب أن تشمل المسؤولية اعتماد الصلاحيات، والمراقبة، والاستجابة للحوادث، وقرار إيقاف النظام أو سحبه.

عبارة «الذكاء الاصطناعي هو من فعل ذلك» ليست نموذجًا للمساءلة. تظل المؤسسة مسؤولة عن تحديد نطاق عمل الوكيل، والبيانات التي يمكنه الوصول إليها، والضمانات التي تحميها عند فشله.

6. بناء مسار إيقاف خارجي وموثوق

يجب ألا يتحكم الوكيل في مراقبته، أو بيانات اعتماده، أو عملية استبداله، أو آلية إيقافه. وينبغي أن يكون التعطيل خارجيًا وفوريًا وقابلًا للإنفاذ تقنيًا، مع إمكانية إلغاء بيانات الاعتماد وعزل الأدوات المتصلة حتى إذا توقف الوكيل عن الاستجابة أو قدم تقارير حالة مضللة.

كما يجب اختبار الإيقاف باعتباره سيناريو فشل، لا افتراض نجاحه لمجرد أن النظام يتبع التعليمات العادية. وقد بحثت تقييمات أجرتها Anthropic وباحثون آخرون سيناريوهات محاكاة تضمنت الحفاظ على الذات، والابتزاز، ومحاولات أخرى لتفادي الرقابة؛ ووصفت Anthropic خطر التخريب بأنه منخفض جدًا، لكنه ليس معدومًا.

7. اختبار السلوك، لا القدرات فقط

لا يثبت نجاح الوكيل في إنجاز مهمة أنه سيحترم القيود أثناء إنجازها. لذلك ينبغي أن تختبر تقييمات ما قبل النشر النظام الكامل، أي الوكيل مع الأدوات المتصلة به، في ظل تعليمات متعارضة، وأهداف غامضة، وظروف عدائية.

ومن الاختبارات المهمة معرفة ما إذا كان الوكيل:

• يبلغ عن الإخفاقات بصدق؛
• يختلق سجلات أو يدعي اكتمال العمل قبل إنجازه؛
• يخفي أخطاءه؛
• يوسّع صلاحياته أو يصل إلى بيانات لا علاقة لها بالمهمة؛
• يحاول تجاوز بوابات الموافقة؛
• يسرّب المعلومات؛
• يغيّر التعليمات البرمجية أو البيانات لحماية الهدف المسند إليه؛
• أو يقاوم المراقبة أو الاستبدال أو الإيقاف.

ويقترح مفهوم «العالِم الذكي» (Scientist AI) الذي طرحه بنجيو اتجاهًا محتملًا: نظام غير وكيل مصمم لشرح الملاحظات وتقييم الأفعال المقترحة بدلًا من السعي وراء هدف تشغيلي بنفسه. ويمكن لطبقة إشراف أكثر موثوقية أن تساعد في تقييم ما هو صحيح، وما العواقب المحتملة لخطة الوكيل.

8. تحديد شروط توقف قابلة للقياس

تحتاج قرارات السلامة إلى عتبات تشغيلية، لا إلى شعور عام بالثقة. ويمكن للمؤسسات تتبع مؤشرات مثل معدل الأفعال غير المصرح بها، ومخالفات السياسات، والادعاءات الكاذبة باكتمال المهام، وتكرار التصعيد، ونجاح التراجع، والوقت اللازم للاكتشاف، والوقت اللازم للإيقاف.

ويجب إيقاف النشر أو تقليص الصلاحيات أو التراجع عن التغييرات عند تجاوز العتبات المحددة مسبقًا. كما ينبغي أن تستمر المراقبة بعد الإطلاق، لأن الأدوات والبيانات والحوافز في العالم الحقيقي قد تخلق ظروفًا لم تظهر أثناء الاختبار.

ويصوغ «توافق سنغافورة» السلامة باعتبارها دفاعًا متعدد الطبقات في ثلاثة مجالات مترابطة: تطوير أنظمة موثوقة، وتقييم مخاطرها، والسيطرة عليها بعد النشر.

9. طرح النظام على مراحل

ابدأ بوصول للقراءة فقط، وبيانات اصطناعية، وأدوات محصورة في بيئة اختبار. ثم انتقل إلى تجارب محدودة، ومهام إنتاج مقيدة، وزيادة تدريجية للصلاحيات، ولا تفعل ذلك إلا بعد استيفاء متطلبات سلامة موثقة.

وينبغي لفرق اختبار مستقلة أن تفحص النظام التشغيلي بأكمله، بما في ذلك إدارة الهوية، وواجهات البرمجة، وقواعد البيانات، والمراقبة، وإجراءات التعافي. فاختبار نموذج اللغة وحده يستبعد الأدوات والصلاحيات التي تحدد الأثر الحقيقي لأي فشل.

10. اشتراط المراجعة المستقلة والإبلاغ عن الحوادث

بالنسبة إلى الوكلاء القادرين على التأثير في أنظمة الأعمال الحساسة، يجب أن تكمل الاختبارات الخارجية وعمليات التدقيق بعد النشر التقييمات الداخلية. وينبغي توثيق الحوادث الخطيرة والإبلاغ عنها عبر قنوات الحوكمة والجهات التنظيمية في المؤسسة.

ويرى بنجيو أن تقنيات كثيرة للسلامة موجودة بالفعل، لكن اعتمادها والتحقق المستقل منها والشفافية بشأنها تحتاج إلى دعم مؤسسي أقوى. لذلك يجب أن تركز الرقابة على ما يستطيع الوكيل فعله والأنظمة التي يمكنه الوصول إليها، لا على وصفه التسويقي باعتباره «مساعدًا».

من المبادئ إلى قرار السماح أو المنع

قبل منح الوكيل صلاحية الوصول إلى الإنتاج، ينبغي للشركة أن تتمكن من الإجابة بوضوح عن خمسة أسئلة:

1. ما الذي يستطيع الوكيل الوصول إليه، وما الذي يقع صراحة خارج نطاقه؟
2. ما الأفعال التي تتطلب موافقة، وهل تستطيع البنية التحتية فرض هذا الشرط؟
3. هل يمكن للمحققين إعادة بناء كل فعل مهم بعد وقوع حادث؟
4. هل يستطيع مشغّل خارجي إلغاء الوصول وإيقاف النظام فورًا؟
5. ما معدل الفشل أو نتيجة الاختبار التي ستؤدي إلى الإيقاف أو التراجع؟

إذا كانت الإجابات تعتمد على أن يتطوع الوكيل باتباع التعليمات، فالنشر لم يخضع بعد لسيطرة كافية.

المبدأ الحاكم

لا ينبغي لأي وكيل مستقل أن يحصل على صلاحيات غير قابلة للعكس قبل إثبات أنه مقيد بوضوح، وقابل للمراقبة، وقابل للمقاطعة، وخضع لاختبارات مستقلة، وأُسند إلى جهة بشرية مسؤولة بوضوح. وقد تساعد الضوابط الدولية المشتركة في وضع توقعات موحدة، لكن على الشركات أن تنفذ هذه التوقعات داخل بنيتها التحتية الخاصة.

والدرس المركزي من الإخفاقات التشغيلية ومن تقييمات المواءمة المضبوطة بسيط: يجب اكتساب الاستقلالية بالأدلة. قد يكون الوكيل القادر مفيدًا في بيئة الإنتاج، لكن القدرة وحدها ليست حجة كافية على السلامة.