كيف تحاول منصة Giskard Guards تأمين وكلاء الذكاء الاصطناعي في المؤسسات

أصبحت وكلاء الذكاء الاصطناعي (AI Agents) جزءاً متزايد الأهمية من البنية الرقمية داخل الشركات. فبدلاً من مجرد الإجابة على الأسئلة مثل روبوتات الدردشة التقليدية، يمكن لهذه الوكلاء تنفيذ مهام متعددة الخطوات: استرجاع الوثائق، الاتصال بواجهات برمجة التطبيقات (APIs)، تشغيل أدوات داخلية، وحتى اتخاذ إجراءات في أنظمة الأعمال.

لكن هذا التحول يفتح الباب أيضاً لمخاطر جديدة، مثل حقن الأوامر (Prompt Injection)، والهلوسة في اتخاذ القرارات، وتسريب البيانات الحساسة، أو استخدام الأدوات بطريقة غير مقصودة. هذه التحديات هي ما تحاول الشركة الفرنسية Giskard معالجته عبر منصتها الجديدة Giskard Guards.

المشكلة: أنظمة الحماية القديمة لا تفهم سلوك الوكلاء

معظم أنظمة السلامة المبكرة للذكاء الاصطناعي صُممت لمراقبة النصوص فقط:

• فحص مدخلات المستخدم
• تحليل الرد النهائي للنموذج

هذا الأسلوب كان كافياً عندما كانت نماذج اللغة تعمل كواجهات محادثة بسيطة. لكن الوكلاء الحديثة تتصرف مثل برامج تعمل داخل النظام، حيث يمكنها:

• الوصول إلى بيانات الشركة الداخلية أو الوثائق الخارجية
• تشغيل أدوات أو استدعاء APIs
• تنفيذ عمليات متعددة الخطوات
• التفاعل مع أنظمة تشغيلية حساسة

نتيجة لذلك تحوّل الخطر من "محتوى ضار" إلى "سلوك ضار". فقد يتبع الوكيل تعليمات خبيثة مخفية داخل وثيقة مسترجعة، أو ينفذ إجراءً خاطئاً بسبب هلوسة، أو يكشف معلومات سرية أثناء تنفيذ مهمة.

كما أن المرشحات التقليدية القائمة على الكلمات المفتاحية غالباً ما تعاني من مشكلتين أساسيتين:

• حجب طلبات شرعية عن طريق الخطأ (false positives)
• الفشل في اكتشاف هجمات معقدة متعددة الخطوات مثل حقن الأوامر أو استغلال سلسلة الأدوات.

ما هي منصة Giskard Guards؟

تقدم Giskard Guards طبقة أمان تعمل أثناء تشغيل النظام (runtime) بين وكيل الذكاء الاصطناعي والأنظمة التي يتفاعل معها.

بدلاً من تحليل الرسالة فقط، تقوم المنصة بمراقبة السياق الكامل لتنفيذ الوكيل، بما في ذلك:

• المدخلات (prompts)
• خطوات التفكير الوسيطة
• استدعاءات الأدوات
• النتائج النهائية

الهدف هو اكتشاف السلوك الخطِر قبل أن يصل إلى الأنظمة الإنتاجية داخل المؤسسة.

ثلاث طبقات أساسية للحماية

1. حواجز أمان واعية بالسياق

بدلاً من الاعتماد على مطابقة الكلمات المفتاحية، تحاول المنصة فهم نية الطلب وسياقه التشغيلي. وهذا يسمح لها بتحديد ما إذا كان الطلب يتناسب مع مهمة الوكيل أو يتعارض مع سياسات المؤسسة.

2. مجموعة من الكواشف الأمنية

تعتمد المنصة على عدة كواشف تعمل في الوقت الحقيقي، مثل:

• كشف محاولات كسر القيود (jailbreak)
• اكتشاف حقن الأوامر
• تحديد البيانات الحساسة
• رصد انتهاكات السياسات

وعند اكتشاف سلوك مريب يمكن للنظام اتخاذ قرار مثل:

• السماح بالعملية
• مراقبتها
• أو حظرها بالكامل.

3. مراقبة سلسلة تنفيذ الوكيل

أحد أهم الاختلافات في هذا النهج هو فحص سلسلة التنفيذ الكاملة بدلاً من المدخلات والمخرجات فقط.

هذا مهم لأن الهجمات قد تظهر في خطوات وسيطة، مثل:

• تعليمات خبيثة داخل مستند تم استرجاعه
• استدعاء أداة غير مناسبة
• سلسلة قرارات تؤدي إلى إجراء غير آمن.

الحوكمة عبر مفهوم "السياسات ككود"

فكرة أساسية في تصميم المنصة هي تحويل قواعد الحوكمة داخل المؤسسة إلى سياسات قابلة للتنفيذ برمجياً (Policy‑as‑Code).

في المؤسسات الكبيرة توجد قواعد واضحة تتعلق بالخصوصية والامتثال والتنظيم. بدلاً من الاعتماد على تعليمات نصية داخل prompt، يمكن تحويل هذه القواعد إلى ضوابط قابلة للتطبيق مباشرة داخل النظام.

تشير أبحاث حديثة إلى أن تحويل سياسات الحوكمة المكتوبة إلى حواجز تشغيلية قابلة للتحقق يساعد في مراقبة سلوك الوكلاء بشكل مستمر وفي الوقت الحقيقي.

بهذا الشكل يمكن للشركات وضع قواعد مثل:

• منع كشف البيانات الطبية أو المالية
• إلزام مراجعة بشرية قبل اتخاذ قرارات عالية التأثير
• تحديد الأدوات المسموح للوكيل باستخدامها
• تسجيل العمليات لأغراض التدقيق والامتثال

التوافق مع قانون الذكاء الاصطناعي الأوروبي

جزء من أهمية هذه المنصات مرتبط بالبيئة التنظيمية الجديدة في أوروبا.

يقدم قانون الذكاء الاصطناعي الأوروبي (EU AI Act) إطاراً تنظيمياً يعتمد على مستوى المخاطر. الأنظمة المصنفة "عالية المخاطر"—مثل تلك المستخدمة في الصحة أو التوظيف أو البنية التحتية—تخضع لمتطلبات صارمة تتعلق بإدارة المخاطر والشفافية والتوثيق والإشراف البشري والموثوقية التقنية.

يمكن أن تساعد منصات مثل Giskard Guards المؤسسات في تلبية هذه المتطلبات عبر:

• تسجيل الأنشطة والقرارات
• تطبيق سياسات الحوكمة أثناء التشغيل
• توفير آليات إشراف ومراجعة

وهي عناصر أساسية ضمن متطلبات الأنظمة عالية المخاطر في القانون الأوروبي.

لماذا تهتم القطاعات المنظمة بهذه التقنيات؟

الحاجة إلى حوكمة الوكلاء الذكيين تكون أكبر في القطاعات التي تتعامل مع بيانات حساسة أو تخضع لتنظيمات صارمة.

البنوك والتأمين قد تستخدم الوكلاء لتحليل طلبات القروض أو اكتشاف الاحتيال أو معالجة المطالبات. أي خطأ أو تسريب بيانات قد يؤدي إلى مخاطر قانونية أو مالية.

أما في قطاع الرعاية الصحية، فقد يستخدم الوكيل لتلخيص السجلات الطبية أو جلب معلومات المرضى أو المساعدة في التوثيق الطبي. هنا تصبح حماية الخصوصية وضمان الإشراف البشري أمراً بالغ الأهمية.

لهذا السبب تفضّل كثير من المؤسسات وجود ضوابط أمنية تعمل على مستوى البنية التحتية للنظام وليس فقط داخل تعليمات النموذج.

نحو بنية ذكاء اصطناعي أوروبية "سيادية"

تقدم Giskard أيضاً منصتها ضمن سياق أوسع هو توجه أوروبا نحو ما يسمى "الذكاء الاصطناعي السيادي".

المنصة مصممة لدعم النشر داخل البنية التحتية الخاصة بالشركات (on‑premise) أو ضمن بيئات خاضعة لسيطرة المؤسسة. وهذا يسمح بالاحتفاظ بالبيانات الحساسة وسجلات التشغيل داخل الحدود التنظيمية للشركة أو داخل أوروبا.

بالنسبة للمؤسسات التي تعمل وفق قوانين مثل GDPR وقانون الذكاء الاصطناعي الأوروبي، فإن التحكم في مكان تشغيل أنظمة المراقبة والأمان قد يكون عاملاً مهماً في قرارات تبني التكنولوجيا.

التحول الأكبر: مراقبة سلوك الذكاء الاصطناعي

صعود الوكلاء الذكيين يغيّر الطريقة التي يجب أن تعمل بها أنظمة الأمان.

فالحواجز التي تفحص النصوص فقط لم تعد كافية لأن الوكلاء أصبحوا ينفذون مهاماً ويستخدمون أدوات ويتفاعلون مع بيانات حقيقية.

نهج Giskard يعكس توجهاً أوسع في صناعة الذكاء الاصطناعي:

التركيز على مراقبة سلوك الوكيل عبر كامل سير العمل، وتطبيق سياسات الحوكمة في الوقت الحقيقي، وليس فقط تصفية المحتوى.

ما إذا كانت هذه الأنظمة ستنجح في منع جميع المخاطر داخل بيئات المؤسسات الكبيرة ما زال سؤالاً مفتوحاً. لكن مع توسع استخدام الوكلاء في الأنظمة الحيوية، يبدو أن طبقات الأمان التشغيلية مثل هذه ستصبح جزءاً أساسياً من بنية الذكاء الاصطناعي في الشركات.