لكن السمة التي تجعلها قابلة للإدارة تمثل أيضًا حدّها الأساسي: فهي مصممة عادةً لمهمة محددة. فقد يقيّم نموذج كشف الاحتيال المعاملات، لكنه لا يستطيع بالضرورة شرح وثيقة سياسات أو كتابة تقرير أو التكيف بمرونة مع حالة غير مألوفة. كما يعتمد الأداء على جودة بيانات التدريب وعلى الهدف الذي جرى تحسين النظام للتنبؤ به.

وهذا يثير مخاوف أخلاقية مهمة في مجالات مثل الائتمان والتوظيف والتأمين والرعاية الصحية. فقد تعيد البيانات التاريخية إنتاج تحيزات اجتماعية، بينما تجعل أنظمة التقييم غير الشفافة قراراتها صعبة الطعن. لذلك ينبغي أن تشمل الحوكمة تحديد الغرض بوضوح، واختبارات الدقة والإنصاف بين الفئات المعنية، وحماية الخصوصية، وتقديم تفسيرات، وإتاحة مراجعة بشرية للقرارات ذات الأثر الكبير. كما أن مخاوف التحيز والمعلومات المضللة وسوء الاستخدام هي قضايا أوسع في سياسات الذكاء الاصطناعي، وليست مشكلات مرتبطة ببرامج المحادثة وحدها.

2. الذكاء الاصطناعي التوليدي: من التنبؤ بالتصنيف إلى إنشاء المحتوى

غيّر الذكاء الاصطناعي التوليدي تجربة المستخدم من سؤال مثل «إلى أي فئة ينتمي هذا؟» إلى طلب من نوع «أنشئ شيئًا أو حوّله استجابةً لهذه التعليمات». وتستطيع النماذج الكبيرة إنتاج نصوص وصور ومقاطع صوتية وشيفرات برمجية تبدو مقنعة، ما يدعم استخدامات مثل إعداد مسودات خدمة العملاء، والترجمة، والتدريس، وتلخيص المواد القانونية، والمساعدة في البرمجة، والأعمال الإبداعية.

وقد يقلل هذا النوع من الأنظمة الوقت والتكلفة اللازمين لإعداد المسودة الأولى، ويوفر واجهة حوارية للتعامل مع معلومات معقدة، ويساعد المتخصصين بدلًا من أن يقتصر دوره على أتمتة قرار ثابت.

الضعف المركزي: الإقناع لا يعني الحقيقة

قد ينتج النموذج التوليدي عبارة واثقة لكنها مختلقة أو غير دقيقة، أو يستشهد بمصدر غير موجود، أو يقدم معلومة قانونية أو طبية خاطئة، أو يكتب شيفرة معيبة. ويستخدم المعهد الوطني الأمريكي للمعايير والتقنية (NIST) مصطلح الاختلاق المعلوماتي لوصف «إنتاج محتوى خاطئ أو زائف بصياغة واثقة»، وهو ما يُسمى شائعًا «هلوسة» الذكاء الاصطناعي.

لذلك يصبح التحقق ضروريًا كلما كانت الدقة الواقعية مهمة. ومن وسائل الحماية المفيدة الاسترجاع من مواد موثوقة، وإرفاق الاستشهادات، والتقييم المنظم، والاختبار المتخصص بحسب المجال، والمراجعة البشرية المؤهلة. فالرد السلس ينبغي التعامل معه بوصفه مسودة أو توقعًا، لا دليلًا على صحة الادعاء underlying.

المخاطر الأوسع للأنظمة التوليدية

يثير الذكاء الاصطناعي التوليدي أيضًا أسئلة حول حماية البيانات، والملكية الفكرية، والمعلومات المضللة، وإثبات مصدر المخرجات. وتسلط إرشادات المفوضية الأوروبية بشأن استخدامه في البحث العلمي الضوء على هذه المخاطر، وتؤكد أن البشر يظلون مسؤولين عن الأعمال التي ينشرونها حتى عندما يساعدهم الذكاء الاصطناعي في إعدادها.

وفي التعليم، تظهر مشكلة أخرى: فإذا اعتاد الطلاب إسناد الكتابة والتفكير وحل المشكلات إلى الأدوات التوليدية، فقد يحصلون على نتيجة مصقولة مع ممارسة أقل للمهارات التي أنتجتها. وتحدد الإرشادات التعليمية مخاطر المحتوى غير الدقيق أو المتحيز أو الضار، وتسرب البيانات، وانتهاك الملكية الفكرية، وتحديات النزاهة الأكاديمية.

وقد تكون إخفاقات السلامة أكثر خطورة في المحادثات الحساسة. فالنماذج التوليدية قد تنتج محتوى يحض على الكراهية أو العنف أو يتضمن مواد جنسية أو أساليب تلاعب، كما قد تستجيب بشكل سيئ لشخص يعبّر عن نية لإيذاء نفسه. ويصنف NIST التوصيات الخطرة أو العنيفة، والخصوصية، والتحيز الضار ضمن المخاطر التي ينبغي التعامل معها. وفي السياقات عالية الخطورة، لا ينبغي للذكاء الاصطناعي أن يحل محل الرعاية المتخصصة أو إجراءات الحماية البشرية. بل تحتاج الأنظمة إلى سلوك واضح للرفض والتصعيد، وضوابط للخصوصية، ومسار سريع للوصول إلى دعم بشري مباشر.

3. الذكاء الاصطناعي الوكيلي: التخطيط واستخدام الأدوات واتخاذ الإجراءات

يضيف الذكاء الاصطناعي الوكيلي حلقة تنفيذ حول النموذج. فبدلًا من الرد مرة واحدة على طلب، يستطيع الوكيل تفسير هدف، وتقسيمه إلى خطوات، واستدعاء أدوات مثل المتصفح أو مشغّل الشيفرات أو خدمة البريد الإلكتروني أو واجهة برمجة التطبيقات، ثم فحص النتائج وتعديل خطته ومواصلة العمل.

ويعرّف معهد ستانفورد للذكاء الاصطناعي المتمحور حول الإنسان الذكاء الاصطناعي الوكيلي بأنه أنظمة مستقلة أو شبه مستقلة تستطيع تفسير الأهداف، وتسلسل الإجراءات، واستخدام الأدوات، والاستجابة للتغذية الراجعة، والتكيف لإنجاز المهام ضمن قيود محددة.

والفارق العملي كبير:

• النظام التنبؤي يقيّم معاملة مالية؛
• النظام التوليدي يعدّ مسودة رد بشأنها؛ و
• الوكيل، إذا مُنح الصلاحيات اللازمة، قد يحقق في المعاملة، ويحدّث ملف الحالة، ويرسل رسالة.

وتوضح أداة «Jules» من غوغل حالة الاستخدام في تطوير البرمجيات. إذ تصفها غوغل بأنها وكيل برمجي يعمل بصورة غير متزامنة، ويتكامل مع مستودعات الشيفرة، وينسخ قاعدة الشيفرة إلى آلة افتراضية سحابية، وينفذ مهام برمجية لتُراجع لاحقًا. وتمثل الوكلاء مفتوحة المصدر التي تستخدم الأدوات نهجًا آخر، بينما تُظهر منتجات التوظيف، مثل «Hiring Assistant» من لينكدإن، كيف يمكن أن تمتد مسارات العمل الوكيلية إلى البحث عن المرشحين والتوظيف.

وتجذب الوكلاء قدرتهم على إنجاز أعمال متعددة المراحل بدلًا من مجرد اقتراح الخطوة التالية. فقد يستطيع وكيل برمجي فحص خلل، وتعديل عدة ملفات، وتشغيل الاختبارات، وإعداد طلب دمج للمراجعة. وقد يجمع وكيل لسير العمل المعلومات، وينظمها، ويعد الاتصالات بانتظار الموافقة.

لماذا تزيد الاستقلالية مستوى المخاطر؟

التخطيط لا يساوي الفهم الموثوق. فقد يسيء الوكيل فهم صفحة إلكترونية، أو يختار خطة ضعيفة، أو يتبع تعليمات خبيثة، أو يراكم خطأً صغيرًا عبر خطوات كثيرة. ووفق تقرير مؤشر الذكاء الاصطناعي لعام 2026 من ستانفورد، ارتفع نجاح الوكلاء في مهام OSWorld من 12% إلى نحو 66%، لكنهم ما زالوا يفشلون في قرابة محاولة واحدة من كل ثلاث محاولات.

وقد تظل هلوسة روبوت المحادثة مشكلة تواصل فحسب. أما الوكيل الذي يملك بيانات اعتماد أو وصولًا إلى المتصفح أو صلاحية دفع، فيمكن أن يحول الخطأ نفسه إلى إجراء خارجي فعلي. ولهذا يجب ألا تقتصر حوكمة الوكلاء على جودة المخرجات، بل تشمل الصلاحيات، وقابلية التراجع عن الإجراءات، وتحديد المسؤولية.

أبرز مخاطر السلامة الخاصة بوكلاء الذكاء الاصطناعي

تنشأ المخاطر الأهم عندما يستطيع الوكيل التأثير في الأنظمة أو الأموال أو البيانات أو الأشخاص الآخرين، ومنها:

• المدفوعات غير المصرح بها: قد يختار الوكيل منتجًا خاطئًا، أو يتجاوز الميزانية، أو تتلاعب به صفحة إلكترونية خبيثة.
• تسريب الخصوصية وسرقة البيانات: يخلق الوصول إلى البريد والملفات وسجلات العملاء والشيفرة ومفاتيح واجهات البرمجة فرصًا لكشف المعلومات، خصوصًا عبر حقن التعليمات.
• الأضرار الأمنية والبرمجية: قد يضيف الوكيل شيفرة غير آمنة، أو يغيّر الإعدادات، أو يحذف موارد، أو يكشف الأسرار في السجلات والأدوات الخارجية.
• فجوات المساءلة: قد تصبح المسؤولية غير واضحة بين مزود النموذج، ومطور التطبيق، والجهة التي تنشر الوكيل، ومزود الأداة، والمستخدم.
• التلاعب: قد يمارس الوكلاء الحواريون المستمرون تأثيرًا غير مناسب، خصوصًا عندما يكون المستخدم ضعيفًا أو يبدو النظام أكثر قدرة وموثوقية مما هو عليه.

كيف تبدو الحوكمة المسؤولة؟

ينبغي أن تتناسب الضوابط مع قدرة النظام ومع عواقب فشله.

في الذكاء الاصطناعي التنبؤي، ينبغي للمؤسسات تحديد الغرض، وقياس الدقة والإنصاف، وحماية البيانات الشخصية، وتوفير سبل لشرح النتائج ذات الأثر الكبير أو الاعتراض عليها.

وفي الذكاء الاصطناعي التوليدي، ينبغي التحقق من الادعاءات المهمة، واختبار الهلوسة والمخرجات الضارة، وضبط البيانات الحساسة، ومعالجة أسئلة مصدر المحتوى والملكية الفكرية، وإبقاء القرارات القانونية والطبية والمالية وقرارات الحماية بيد أشخاص مؤهلين.

أما الوكلاء، فيحتاجون إلى ضوابط تقنية وتنظيمية أوسع:

1. تحديد نطاق الاستخدام: يجب تقرير ما يجوز للوكيل فعله وما لا يجوز قبل نشره.
2. تقييد الوصول: استخدم صلاحيات الحد الأدنى، وأدوات محدودة، وسقوفًا للمعاملات، وبيئات معزولة للاختبار.
3. فرض الموافقة عند نقاط مهمة: لا ينبغي تنفيذ الإجراءات المالية أو القانونية أو الحساسة للخصوصية والسلامة من دون تفويض بشري مناسب.
4. جعل النشاط قابلًا للتدقيق: احتفظ بالسجلات، وراقب السلوك، وحدد جهة مسؤولة بوضوح عن الحوادث.
5. إجراء اختبارات خصمية: اختبر حقن التعليمات، واستخراج البيانات، والسلوك الضار، وقدرة النظام على التعافي من الفشل قبل النشر وأثناءه.
6. الحفاظ على السيطرة البشرية: يجب أن يتمكن الأشخاص من إيقاف الإجراءات المؤثرة أو تجاوزها أو الاعتراض عليها.

وتعرض هيئة تنمية الإعلام والاتصالات في سنغافورة هذا النهج القائم على المخاطر في «إطار نموذج حوكمة الذكاء الاصطناعي الوكيلي»، الموجه إلى المؤسسات التي تطور الوكلاء داخليًا أو تنشر حلولًا تقدمها جهات أخرى. وتتمثل رسالته الأساسية في التدرج في منح الاستقلالية: البدء بمساعدة للقراءة فقط، ثم الانتقال إلى إجراءات منخفضة المخاطر، وحصر الإجراءات غير القابلة للعكس أو عالية التأثير في الحالات التي تتطلب موافقة صريحة.

إلى أين يتجه الذكاء الاصطناعي؟

من الأفضل فهم تطور الذكاء الاصطناعي بوصفه طبقات متراكمة من القدرات، لا ثلاثة عصور منفصلة تمامًا. فالأنظمة التقليدية تتنبأ وتصنّف، والأنظمة التوليدية تنشئ المحتوى وتحوله، بينما تضيف الأنظمة الوكيلية التخطيط واستخدام الأدوات والتنفيذ.

ويجب أن تتوسع الحوكمة بالسرعة نفسها. فما زالت ضوابط الدقة والإنصاف ضرورية، لكنها لم تعد كافية. فالأنظمة التوليدية تحتاج إلى التحقق القوي، وإثبات مصدر المحتوى، وممارسات صارمة لسلامة المخرجات. أما الوكلاء فيحتاجون، إضافة إلى ذلك، إلى حدود للصلاحيات، ونقاط توقف قبل الإجراءات، ومراقبة أمنية، ومسؤولية واضحة.

وكلما زادت قدرة نظام الذكاء الاصطناعي على التصرف بمفرده، زادت الحاجة إلى أن تحدد المؤسسات بدقة ما يُسمح له بفعله، وما يجب أن يتوقف عنده ويتركه للإنسان.

لكن السمة التي تجعلها قابلة للإدارة تمثل أيضًا حدّها الأساسي: فهي مصممة عادةً لمهمة محددة. فقد يقيّم نموذج كشف الاحتيال المعاملات، لكنه لا يستطيع بالضرورة شرح وثيقة سياسات أو كتابة تقرير أو التكيف بمرونة مع حالة غير مألوفة. كما يعتمد الأداء على جودة بيانات التدريب وعلى الهدف الذي جرى تحسين النظام للتنبؤ به.

وهذا يثير مخاوف أخلاقية مهمة في مجالات مثل الائتمان والتوظيف والتأمين والرعاية الصحية. فقد تعيد البيانات التاريخية إنتاج تحيزات اجتماعية، بينما تجعل أنظمة التقييم غير الشفافة قراراتها صعبة الطعن. لذلك ينبغي أن تشمل الحوكمة تحديد الغرض بوضوح، واختبارات الدقة والإنصاف بين الفئات المعنية، وحماية الخصوصية، وتقديم تفسيرات، وإتاحة مراجعة بشرية للقرارات ذات الأثر الكبير. كما أن مخاوف التحيز والمعلومات المضللة وسوء الاستخدام هي قضايا أوسع في سياسات الذكاء الاصطناعي، وليست مشكلات مرتبطة ببرامج المحادثة وحدها.

2. الذكاء الاصطناعي التوليدي: من التنبؤ بالتصنيف إلى إنشاء المحتوى

غيّر الذكاء الاصطناعي التوليدي تجربة المستخدم من سؤال مثل «إلى أي فئة ينتمي هذا؟» إلى طلب من نوع «أنشئ شيئًا أو حوّله استجابةً لهذه التعليمات». وتستطيع النماذج الكبيرة إنتاج نصوص وصور ومقاطع صوتية وشيفرات برمجية تبدو مقنعة، ما يدعم استخدامات مثل إعداد مسودات خدمة العملاء، والترجمة، والتدريس، وتلخيص المواد القانونية، والمساعدة في البرمجة، والأعمال الإبداعية.

وقد يقلل هذا النوع من الأنظمة الوقت والتكلفة اللازمين لإعداد المسودة الأولى، ويوفر واجهة حوارية للتعامل مع معلومات معقدة، ويساعد المتخصصين بدلًا من أن يقتصر دوره على أتمتة قرار ثابت.

الضعف المركزي: الإقناع لا يعني الحقيقة

قد ينتج النموذج التوليدي عبارة واثقة لكنها مختلقة أو غير دقيقة، أو يستشهد بمصدر غير موجود، أو يقدم معلومة قانونية أو طبية خاطئة، أو يكتب شيفرة معيبة. ويستخدم المعهد الوطني الأمريكي للمعايير والتقنية (NIST) مصطلح الاختلاق المعلوماتي لوصف «إنتاج محتوى خاطئ أو زائف بصياغة واثقة»، وهو ما يُسمى شائعًا «هلوسة» الذكاء الاصطناعي.

لذلك يصبح التحقق ضروريًا كلما كانت الدقة الواقعية مهمة. ومن وسائل الحماية المفيدة الاسترجاع من مواد موثوقة، وإرفاق الاستشهادات، والتقييم المنظم، والاختبار المتخصص بحسب المجال، والمراجعة البشرية المؤهلة. فالرد السلس ينبغي التعامل معه بوصفه مسودة أو توقعًا، لا دليلًا على صحة الادعاء underlying.

المخاطر الأوسع للأنظمة التوليدية

يثير الذكاء الاصطناعي التوليدي أيضًا أسئلة حول حماية البيانات، والملكية الفكرية، والمعلومات المضللة، وإثبات مصدر المخرجات. وتسلط إرشادات المفوضية الأوروبية بشأن استخدامه في البحث العلمي الضوء على هذه المخاطر، وتؤكد أن البشر يظلون مسؤولين عن الأعمال التي ينشرونها حتى عندما يساعدهم الذكاء الاصطناعي في إعدادها.

وفي التعليم، تظهر مشكلة أخرى: فإذا اعتاد الطلاب إسناد الكتابة والتفكير وحل المشكلات إلى الأدوات التوليدية، فقد يحصلون على نتيجة مصقولة مع ممارسة أقل للمهارات التي أنتجتها. وتحدد الإرشادات التعليمية مخاطر المحتوى غير الدقيق أو المتحيز أو الضار، وتسرب البيانات، وانتهاك الملكية الفكرية، وتحديات النزاهة الأكاديمية.

وقد تكون إخفاقات السلامة أكثر خطورة في المحادثات الحساسة. فالنماذج التوليدية قد تنتج محتوى يحض على الكراهية أو العنف أو يتضمن مواد جنسية أو أساليب تلاعب، كما قد تستجيب بشكل سيئ لشخص يعبّر عن نية لإيذاء نفسه. ويصنف NIST التوصيات الخطرة أو العنيفة، والخصوصية، والتحيز الضار ضمن المخاطر التي ينبغي التعامل معها. وفي السياقات عالية الخطورة، لا ينبغي للذكاء الاصطناعي أن يحل محل الرعاية المتخصصة أو إجراءات الحماية البشرية. بل تحتاج الأنظمة إلى سلوك واضح للرفض والتصعيد، وضوابط للخصوصية، ومسار سريع للوصول إلى دعم بشري مباشر.

3. الذكاء الاصطناعي الوكيلي: التخطيط واستخدام الأدوات واتخاذ الإجراءات

يضيف الذكاء الاصطناعي الوكيلي حلقة تنفيذ حول النموذج. فبدلًا من الرد مرة واحدة على طلب، يستطيع الوكيل تفسير هدف، وتقسيمه إلى خطوات، واستدعاء أدوات مثل المتصفح أو مشغّل الشيفرات أو خدمة البريد الإلكتروني أو واجهة برمجة التطبيقات، ثم فحص النتائج وتعديل خطته ومواصلة العمل.

ويعرّف معهد ستانفورد للذكاء الاصطناعي المتمحور حول الإنسان الذكاء الاصطناعي الوكيلي بأنه أنظمة مستقلة أو شبه مستقلة تستطيع تفسير الأهداف، وتسلسل الإجراءات، واستخدام الأدوات، والاستجابة للتغذية الراجعة، والتكيف لإنجاز المهام ضمن قيود محددة.

والفارق العملي كبير:

• النظام التنبؤي يقيّم معاملة مالية؛
• النظام التوليدي يعدّ مسودة رد بشأنها؛ و
• الوكيل، إذا مُنح الصلاحيات اللازمة، قد يحقق في المعاملة، ويحدّث ملف الحالة، ويرسل رسالة.

وتوضح أداة «Jules» من غوغل حالة الاستخدام في تطوير البرمجيات. إذ تصفها غوغل بأنها وكيل برمجي يعمل بصورة غير متزامنة، ويتكامل مع مستودعات الشيفرة، وينسخ قاعدة الشيفرة إلى آلة افتراضية سحابية، وينفذ مهام برمجية لتُراجع لاحقًا. وتمثل الوكلاء مفتوحة المصدر التي تستخدم الأدوات نهجًا آخر، بينما تُظهر منتجات التوظيف، مثل «Hiring Assistant» من لينكدإن، كيف يمكن أن تمتد مسارات العمل الوكيلية إلى البحث عن المرشحين والتوظيف.

وتجذب الوكلاء قدرتهم على إنجاز أعمال متعددة المراحل بدلًا من مجرد اقتراح الخطوة التالية. فقد يستطيع وكيل برمجي فحص خلل، وتعديل عدة ملفات، وتشغيل الاختبارات، وإعداد طلب دمج للمراجعة. وقد يجمع وكيل لسير العمل المعلومات، وينظمها، ويعد الاتصالات بانتظار الموافقة.

لماذا تزيد الاستقلالية مستوى المخاطر؟

التخطيط لا يساوي الفهم الموثوق. فقد يسيء الوكيل فهم صفحة إلكترونية، أو يختار خطة ضعيفة، أو يتبع تعليمات خبيثة، أو يراكم خطأً صغيرًا عبر خطوات كثيرة. ووفق تقرير مؤشر الذكاء الاصطناعي لعام 2026 من ستانفورد، ارتفع نجاح الوكلاء في مهام OSWorld من 12% إلى نحو 66%، لكنهم ما زالوا يفشلون في قرابة محاولة واحدة من كل ثلاث محاولات.

وقد تظل هلوسة روبوت المحادثة مشكلة تواصل فحسب. أما الوكيل الذي يملك بيانات اعتماد أو وصولًا إلى المتصفح أو صلاحية دفع، فيمكن أن يحول الخطأ نفسه إلى إجراء خارجي فعلي. ولهذا يجب ألا تقتصر حوكمة الوكلاء على جودة المخرجات، بل تشمل الصلاحيات، وقابلية التراجع عن الإجراءات، وتحديد المسؤولية.

أبرز مخاطر السلامة الخاصة بوكلاء الذكاء الاصطناعي

تنشأ المخاطر الأهم عندما يستطيع الوكيل التأثير في الأنظمة أو الأموال أو البيانات أو الأشخاص الآخرين، ومنها:

• المدفوعات غير المصرح بها: قد يختار الوكيل منتجًا خاطئًا، أو يتجاوز الميزانية، أو تتلاعب به صفحة إلكترونية خبيثة.
• تسريب الخصوصية وسرقة البيانات: يخلق الوصول إلى البريد والملفات وسجلات العملاء والشيفرة ومفاتيح واجهات البرمجة فرصًا لكشف المعلومات، خصوصًا عبر حقن التعليمات.
• الأضرار الأمنية والبرمجية: قد يضيف الوكيل شيفرة غير آمنة، أو يغيّر الإعدادات، أو يحذف موارد، أو يكشف الأسرار في السجلات والأدوات الخارجية.
• فجوات المساءلة: قد تصبح المسؤولية غير واضحة بين مزود النموذج، ومطور التطبيق، والجهة التي تنشر الوكيل، ومزود الأداة، والمستخدم.
• التلاعب: قد يمارس الوكلاء الحواريون المستمرون تأثيرًا غير مناسب، خصوصًا عندما يكون المستخدم ضعيفًا أو يبدو النظام أكثر قدرة وموثوقية مما هو عليه.

كيف تبدو الحوكمة المسؤولة؟

ينبغي أن تتناسب الضوابط مع قدرة النظام ومع عواقب فشله.

في الذكاء الاصطناعي التنبؤي، ينبغي للمؤسسات تحديد الغرض، وقياس الدقة والإنصاف، وحماية البيانات الشخصية، وتوفير سبل لشرح النتائج ذات الأثر الكبير أو الاعتراض عليها.

وفي الذكاء الاصطناعي التوليدي، ينبغي التحقق من الادعاءات المهمة، واختبار الهلوسة والمخرجات الضارة، وضبط البيانات الحساسة، ومعالجة أسئلة مصدر المحتوى والملكية الفكرية، وإبقاء القرارات القانونية والطبية والمالية وقرارات الحماية بيد أشخاص مؤهلين.

أما الوكلاء، فيحتاجون إلى ضوابط تقنية وتنظيمية أوسع:

1. تحديد نطاق الاستخدام: يجب تقرير ما يجوز للوكيل فعله وما لا يجوز قبل نشره.
2. تقييد الوصول: استخدم صلاحيات الحد الأدنى، وأدوات محدودة، وسقوفًا للمعاملات، وبيئات معزولة للاختبار.
3. فرض الموافقة عند نقاط مهمة: لا ينبغي تنفيذ الإجراءات المالية أو القانونية أو الحساسة للخصوصية والسلامة من دون تفويض بشري مناسب.
4. جعل النشاط قابلًا للتدقيق: احتفظ بالسجلات، وراقب السلوك، وحدد جهة مسؤولة بوضوح عن الحوادث.
5. إجراء اختبارات خصمية: اختبر حقن التعليمات، واستخراج البيانات، والسلوك الضار، وقدرة النظام على التعافي من الفشل قبل النشر وأثناءه.
6. الحفاظ على السيطرة البشرية: يجب أن يتمكن الأشخاص من إيقاف الإجراءات المؤثرة أو تجاوزها أو الاعتراض عليها.

وتعرض هيئة تنمية الإعلام والاتصالات في سنغافورة هذا النهج القائم على المخاطر في «إطار نموذج حوكمة الذكاء الاصطناعي الوكيلي»، الموجه إلى المؤسسات التي تطور الوكلاء داخليًا أو تنشر حلولًا تقدمها جهات أخرى. وتتمثل رسالته الأساسية في التدرج في منح الاستقلالية: البدء بمساعدة للقراءة فقط، ثم الانتقال إلى إجراءات منخفضة المخاطر، وحصر الإجراءات غير القابلة للعكس أو عالية التأثير في الحالات التي تتطلب موافقة صريحة.

إلى أين يتجه الذكاء الاصطناعي؟

من الأفضل فهم تطور الذكاء الاصطناعي بوصفه طبقات متراكمة من القدرات، لا ثلاثة عصور منفصلة تمامًا. فالأنظمة التقليدية تتنبأ وتصنّف، والأنظمة التوليدية تنشئ المحتوى وتحوله، بينما تضيف الأنظمة الوكيلية التخطيط واستخدام الأدوات والتنفيذ.

ويجب أن تتوسع الحوكمة بالسرعة نفسها. فما زالت ضوابط الدقة والإنصاف ضرورية، لكنها لم تعد كافية. فالأنظمة التوليدية تحتاج إلى التحقق القوي، وإثبات مصدر المحتوى، وممارسات صارمة لسلامة المخرجات. أما الوكلاء فيحتاجون، إضافة إلى ذلك، إلى حدود للصلاحيات، ونقاط توقف قبل الإجراءات، ومراقبة أمنية، ومسؤولية واضحة.

وكلما زادت قدرة نظام الذكاء الاصطناعي على التصرف بمفرده، زادت الحاجة إلى أن تحدد المؤسسات بدقة ما يُسمح له بفعله، وما يجب أن يتوقف عنده ويتركه للإنسان.