كما أن التركيز على الذكاء الاصطناعي الوكيلي مهم لأن الأنظمة التي تستطيع التخطيط وتنفيذ إجراءات عبر أدوات أو مسارات عمل تحتاج إلى تقييم يتجاوز جودة إجابة واحدة. وينبغي اختبار ما يُسمح للنظام بفعله، وكيف يتعامل مع التعليمات الغامضة، وما إذا كانت الضوابط التقنية قادرة على الحد من الأفعال الضارة أو غير المقصودة.

2. تبادل المعرفة وممارسات الحوكمة

تعتزم الجهتان أيضًا تبادل المعلومات وأفضل الممارسات وأطر الحوكمة. ويمكن لهذا التعاون أن يربط الاختبارات التقنية بالقرارات التشغيلية: ما المخاطر التي ينبغي اختبارها؟ وما الحدود المقبولة؟ ومن يحق له الوصول إلى النموذج؟ وماذا يحدث عند اكتشاف خلل خطير؟

وهذا نهج أوسع من قياس قدرات النموذج عبر اختبارات معيارية فقط. فقد يحقق النموذج نتائج قوية في اختبار معياري، لكنه يظل غير مناسب لبيئة حكومية أو بنية تحتية إذا كانت صلاحيات الوصول أو المراقبة أو إجراءات الإفصاح أو الإشراف البشري غير كافية.

3. سياسة للوصول الموثوق إلى النماذج المتقدمة

يركز المحور الثالث على استكشاف سياسات تتيح الوصول الموثوق إلى نماذج الذكاء الاصطناعي المتقدمة. والفكرة الأساسية هي الإتاحة المنضبطة: يمكن توفير الأنظمة شديدة القدرة لأغراض الاختبار والعمل المشروع، لكن مع ضوابط تتناسب مع قدراتها ومخاطرها.

لذلك تشير المذكرة إلى نموذج متدرج للسلامة: اختبار النظام، وتبادل نتائج الاختبار، وتقييد الوصول عند الحاجة، ثم استخدام قواعد الحوكمة لتحديد المسؤولية والمساءلة.

لماذا يُذكر Claude Mythos؟ ولماذا لا يُعد سببًا مثبتًا للمذكرة؟

يقدم نموذج Claude Mythos Preview من شركة Anthropic مثالًا واضحًا على الطبيعة مزدوجة الاستخدام للذكاء الاصطناعي المتقدم. فقد قالت Anthropic إنها، بالتعاون مع نحو 50 شريكًا ضمن Project Glasswing، استخدمت النموذج المقيد للوصول في اكتشاف أكثر من 10 آلاف ثغرة عالية أو حرجة الخطورة في برمجيات ذات أهمية منهجية. كما أفادت بأن Mythos استطاع تحديد ثغرات، بينها ثغرات من نوع «يوم الصفر»، واستغلالها في أنظمة تشغيل ومتصفحات رئيسية.

وقد تساعد هذه القدرة فرق الدفاع على اكتشاف العيوب قبل المهاجمين. لكنها قد تقصر المسافة بين اكتشاف الثغرة واستغلالها إذا أُتيح النموذج على نطاق واسع أو من دون ضوابط كافية. ولهذا أبقت Anthropic نموذج Mythos خلف وصول مقيد عبر Project Glasswing، بدل طرحه للاستخدام العام.

مع ذلك، لا تثبت الأدلة المتاحة أن Claude Mythos كان السبب المحدد في توقيع مذكرة سنغافورة ومايكروسوفت في 12 يونيو. والأدق اعتباره مثالًا على بيئة المخاطر سريعة التغير التي تجعل التقييم المنظم، والوصول المنضبط، وأطر الحوكمة أكثر أهمية.

كيف تبدو إجراءات السلامة عمليًا؟

تقييد الوصول أداة للحد من المخاطر

يُعد نموذج الوصول المحدود في Project Glasswing إجراءً لإدارة المخاطر بحد ذاته. فقد أتاحت Anthropic النموذج لمجموعة محددة من الشركاء لأغراض دفاعية، بدل إطلاقه للجمهور. ويحد هذا النهج من نطاق التعرض، مع السماح لفرق الأمن بدراسة قدرات النظام.

لكن تقييد الوصول ليس نظام سلامة كاملًا؛ فهو يعتمد أيضًا على التدقيق في الجهات المستفيدة، والمراقبة، والتعامل الآمن مع النموذج، والإفصاح المسؤول عن الثغرات. ومع ذلك، فإنه يوضح المبدأ الذي تقوم عليه فكرة «الوصول الموثوق» في المذكرة: ينبغي أن تتناسب صلاحيات الوصول مع قدرة النموذج ومستوى الخطر، لا أن يُعامل كل نموذج متقدم كأنه إصدار برمجي عام عادي.

اكتشاف الثغرة يجب أن يتبعه إصلاحها

العثور على الخلل ليس سوى الخطوة الأولى. فقد أوصت وكالة الأمن السيبراني في سنغافورة المؤسسات بتثبيت تحديثات الثغرات الحرجة والعالية الخطورة، وتفعيل المصادقة متعددة العوامل عبر الواجهات وبوابات الدخول، ومراجعة صلاحيات الوصول غير الضرورية. وتقلل هذه الإجراءات فرص استغلال المهاجمين للثغرات أثناء التحقيق فيها وإصلاحها.

كما لا تدعم الأدلة المتاحة تقديم نتائج Mythos، التي تقارب 10 آلاف ثغرة، على أنها عولجت على نطاق واسع. فقد أشار تقييم لاحق إلى الإفصاح عن 1,596 ثغرة للجهات المسؤولة عن صيانتها، مقابل إصلاح 97 ثغرة فقط. وهذا لا يعني أن المشروع لم يحقق فائدة دفاعية، لكنه يعني أن القول إن «عددًا كبيرًا» من النتائج عولج يحتاج إلى قدر من الحذر.

والخلاصة هنا تشغيلية بقدر ما هي تقنية: تتطلب سلامة الذكاء الاصطناعي عملية متكاملة لتحديد المخاطر، والإفصاح عنها بمسؤولية، وترتيب الإصلاحات حسب الأولوية، وتقليل التعرض إلى أن تكتمل المعالجة.

ما دور مايكروسوفت؟ وما الذي لا تؤكده المذكرة؟

تجلب مايكروسوفت خبرة في تطوير النماذج المتقدمة، والبنية التحتية المؤسسية، والجوانب التشغيلية لتقييم أنظمة الذكاء الاصطناعي والتحكم في الوصول إليها. لكن نطاق المذكرة المعلن أوسع من نموذج واحد تابع لمايكروسوفت؛ فهو يتناول أساليب اختبار السلامة والوصول الموثوق إلى النماذج المتقدمة عمومًا.

ولا تقدم الأدلة المتاحة أساسًا كافيًا لاعتبار ادعاءات أكثر تحديدًا جزءًا رسميًا من هذا الاتفاق، مثل ما يتعلق بنموذج MAI الخاص بمايكروسوفت، أو إتاحة نماذج OpenAI وAnthropic عبر Azure AI Foundry، أو ترتيبات مماثلة مع معهد أمن الذكاء الاصطناعي في المملكة المتحدة والمركز الأميركي لمعايير الذكاء الاصطناعي والابتكار. لذلك لا ينبغي عرض هذه التفاصيل على أنها التزامات واردة في مذكرة سنغافورة ومايكروسوفت.

الهدف الأوسع: منظومة ذكاء اصطناعي موثوقة

يمكن تلخيص عناصر الاتفاق في سلسلة عملية للسلامة:

1. التقييم: اختبار الأنظمة المتقدمة والوكلية، بما في ذلك سلوكها عبر اللغات.
2. التبادل: مشاركة النتائج التقنية وممارسات الحوكمة والدروس المستخلصة من الاختبارات.
3. ضبط الوصول: تقييد استخدام النماذج التي تنطوي قدراتها على مخاطر مرتفعة.
4. الاستجابة: الإفصاح المسؤول، وتثبيت التحديثات، وتفعيل المصادقة، وضبط الصلاحيات.
5. وضع السياسات: تحديد متى وكيف يمكن استخدام الأنظمة المتقدمة في البيئات الحساسة.

هذه هي أهمية المذكرة. فهي لا تجعل الذكاء الاصطناعي المتقدم آمنًا بمجرد توقيعها، ولا تحل المخاطر التي يوضحها Claude Mythos. لكنها تربط بين التقييم التقني، وحوكمة الوصول، وممارسات الأمن السيبراني، في محاولة لجعل الذكاء الاصطناعي المتقدم أكثر أمانًا وموثوقية ومساءلة قبل الخلط بين القدرة العالية والاستعداد للاستخدام.

كما أن التركيز على الذكاء الاصطناعي الوكيلي مهم لأن الأنظمة التي تستطيع التخطيط وتنفيذ إجراءات عبر أدوات أو مسارات عمل تحتاج إلى تقييم يتجاوز جودة إجابة واحدة. وينبغي اختبار ما يُسمح للنظام بفعله، وكيف يتعامل مع التعليمات الغامضة، وما إذا كانت الضوابط التقنية قادرة على الحد من الأفعال الضارة أو غير المقصودة.

2. تبادل المعرفة وممارسات الحوكمة

تعتزم الجهتان أيضًا تبادل المعلومات وأفضل الممارسات وأطر الحوكمة. ويمكن لهذا التعاون أن يربط الاختبارات التقنية بالقرارات التشغيلية: ما المخاطر التي ينبغي اختبارها؟ وما الحدود المقبولة؟ ومن يحق له الوصول إلى النموذج؟ وماذا يحدث عند اكتشاف خلل خطير؟

وهذا نهج أوسع من قياس قدرات النموذج عبر اختبارات معيارية فقط. فقد يحقق النموذج نتائج قوية في اختبار معياري، لكنه يظل غير مناسب لبيئة حكومية أو بنية تحتية إذا كانت صلاحيات الوصول أو المراقبة أو إجراءات الإفصاح أو الإشراف البشري غير كافية.

3. سياسة للوصول الموثوق إلى النماذج المتقدمة

يركز المحور الثالث على استكشاف سياسات تتيح الوصول الموثوق إلى نماذج الذكاء الاصطناعي المتقدمة. والفكرة الأساسية هي الإتاحة المنضبطة: يمكن توفير الأنظمة شديدة القدرة لأغراض الاختبار والعمل المشروع، لكن مع ضوابط تتناسب مع قدراتها ومخاطرها.

لذلك تشير المذكرة إلى نموذج متدرج للسلامة: اختبار النظام، وتبادل نتائج الاختبار، وتقييد الوصول عند الحاجة، ثم استخدام قواعد الحوكمة لتحديد المسؤولية والمساءلة.

لماذا يُذكر Claude Mythos؟ ولماذا لا يُعد سببًا مثبتًا للمذكرة؟

يقدم نموذج Claude Mythos Preview من شركة Anthropic مثالًا واضحًا على الطبيعة مزدوجة الاستخدام للذكاء الاصطناعي المتقدم. فقد قالت Anthropic إنها، بالتعاون مع نحو 50 شريكًا ضمن Project Glasswing، استخدمت النموذج المقيد للوصول في اكتشاف أكثر من 10 آلاف ثغرة عالية أو حرجة الخطورة في برمجيات ذات أهمية منهجية. كما أفادت بأن Mythos استطاع تحديد ثغرات، بينها ثغرات من نوع «يوم الصفر»، واستغلالها في أنظمة تشغيل ومتصفحات رئيسية.

وقد تساعد هذه القدرة فرق الدفاع على اكتشاف العيوب قبل المهاجمين. لكنها قد تقصر المسافة بين اكتشاف الثغرة واستغلالها إذا أُتيح النموذج على نطاق واسع أو من دون ضوابط كافية. ولهذا أبقت Anthropic نموذج Mythos خلف وصول مقيد عبر Project Glasswing، بدل طرحه للاستخدام العام.

مع ذلك، لا تثبت الأدلة المتاحة أن Claude Mythos كان السبب المحدد في توقيع مذكرة سنغافورة ومايكروسوفت في 12 يونيو. والأدق اعتباره مثالًا على بيئة المخاطر سريعة التغير التي تجعل التقييم المنظم، والوصول المنضبط، وأطر الحوكمة أكثر أهمية.

كيف تبدو إجراءات السلامة عمليًا؟

تقييد الوصول أداة للحد من المخاطر

يُعد نموذج الوصول المحدود في Project Glasswing إجراءً لإدارة المخاطر بحد ذاته. فقد أتاحت Anthropic النموذج لمجموعة محددة من الشركاء لأغراض دفاعية، بدل إطلاقه للجمهور. ويحد هذا النهج من نطاق التعرض، مع السماح لفرق الأمن بدراسة قدرات النظام.

لكن تقييد الوصول ليس نظام سلامة كاملًا؛ فهو يعتمد أيضًا على التدقيق في الجهات المستفيدة، والمراقبة، والتعامل الآمن مع النموذج، والإفصاح المسؤول عن الثغرات. ومع ذلك، فإنه يوضح المبدأ الذي تقوم عليه فكرة «الوصول الموثوق» في المذكرة: ينبغي أن تتناسب صلاحيات الوصول مع قدرة النموذج ومستوى الخطر، لا أن يُعامل كل نموذج متقدم كأنه إصدار برمجي عام عادي.

اكتشاف الثغرة يجب أن يتبعه إصلاحها

العثور على الخلل ليس سوى الخطوة الأولى. فقد أوصت وكالة الأمن السيبراني في سنغافورة المؤسسات بتثبيت تحديثات الثغرات الحرجة والعالية الخطورة، وتفعيل المصادقة متعددة العوامل عبر الواجهات وبوابات الدخول، ومراجعة صلاحيات الوصول غير الضرورية. وتقلل هذه الإجراءات فرص استغلال المهاجمين للثغرات أثناء التحقيق فيها وإصلاحها.

كما لا تدعم الأدلة المتاحة تقديم نتائج Mythos، التي تقارب 10 آلاف ثغرة، على أنها عولجت على نطاق واسع. فقد أشار تقييم لاحق إلى الإفصاح عن 1,596 ثغرة للجهات المسؤولة عن صيانتها، مقابل إصلاح 97 ثغرة فقط. وهذا لا يعني أن المشروع لم يحقق فائدة دفاعية، لكنه يعني أن القول إن «عددًا كبيرًا» من النتائج عولج يحتاج إلى قدر من الحذر.

والخلاصة هنا تشغيلية بقدر ما هي تقنية: تتطلب سلامة الذكاء الاصطناعي عملية متكاملة لتحديد المخاطر، والإفصاح عنها بمسؤولية، وترتيب الإصلاحات حسب الأولوية، وتقليل التعرض إلى أن تكتمل المعالجة.

ما دور مايكروسوفت؟ وما الذي لا تؤكده المذكرة؟

تجلب مايكروسوفت خبرة في تطوير النماذج المتقدمة، والبنية التحتية المؤسسية، والجوانب التشغيلية لتقييم أنظمة الذكاء الاصطناعي والتحكم في الوصول إليها. لكن نطاق المذكرة المعلن أوسع من نموذج واحد تابع لمايكروسوفت؛ فهو يتناول أساليب اختبار السلامة والوصول الموثوق إلى النماذج المتقدمة عمومًا.

ولا تقدم الأدلة المتاحة أساسًا كافيًا لاعتبار ادعاءات أكثر تحديدًا جزءًا رسميًا من هذا الاتفاق، مثل ما يتعلق بنموذج MAI الخاص بمايكروسوفت، أو إتاحة نماذج OpenAI وAnthropic عبر Azure AI Foundry، أو ترتيبات مماثلة مع معهد أمن الذكاء الاصطناعي في المملكة المتحدة والمركز الأميركي لمعايير الذكاء الاصطناعي والابتكار. لذلك لا ينبغي عرض هذه التفاصيل على أنها التزامات واردة في مذكرة سنغافورة ومايكروسوفت.

الهدف الأوسع: منظومة ذكاء اصطناعي موثوقة

يمكن تلخيص عناصر الاتفاق في سلسلة عملية للسلامة:

1. التقييم: اختبار الأنظمة المتقدمة والوكلية، بما في ذلك سلوكها عبر اللغات.
2. التبادل: مشاركة النتائج التقنية وممارسات الحوكمة والدروس المستخلصة من الاختبارات.
3. ضبط الوصول: تقييد استخدام النماذج التي تنطوي قدراتها على مخاطر مرتفعة.
4. الاستجابة: الإفصاح المسؤول، وتثبيت التحديثات، وتفعيل المصادقة، وضبط الصلاحيات.
5. وضع السياسات: تحديد متى وكيف يمكن استخدام الأنظمة المتقدمة في البيئات الحساسة.

هذه هي أهمية المذكرة. فهي لا تجعل الذكاء الاصطناعي المتقدم آمنًا بمجرد توقيعها، ولا تحل المخاطر التي يوضحها Claude Mythos. لكنها تربط بين التقييم التقني، وحوكمة الوصول، وممارسات الأمن السيبراني، في محاولة لجعل الذكاء الاصطناعي المتقدم أكثر أمانًا وموثوقية ومساءلة قبل الخلط بين القدرة العالية والاستعداد للاستخدام.