كيف تحاول منصة Giskard Guards تأمين وكلاء الذكاء الاصطناعي في المؤسسات
منصة Giskard Guards تعمل كطبقة أمان وقت التشغيل لوكلاء الذكاء الاصطناعي في المؤسسات، حيث تراقب سلسلة تنفيذ الوكيل بالكامل وتطبق قواعد الحوكمة بطريقة «السياسات ككود». الأنظمة التقليدية لمراقبة الذكاء الاصطناعي تفحص النصوص فقط، لكنها تفشل غالباً في التعامل مع مخاطر الوكلاء الحديثة مثل حقن الأوامر، والهلوسة، واستخدام ا...
How is the French startup Giskard addressing the growing security and governance risks of enterprise AI agents with its Giskard Guards platfEnterprise AI agents introduce new security and governance challenges as they interact with tools, data, and automated workflows.
موجّه الذكاء الاصطناعي
Create a landscape editorial hero image for this Studio Global article: How is the French startup Giskard addressing the growing security and governance risks of enterprise AI agents with its Giskard Guards platf. Article summary: Giskard is positioning Giskard Guards as a runtime security and governance layer for enterprise AI agents: instead of only filtering a user prompt or final model output, it evaluates the agent’s broader execution context. Topic tags: general, academic, general web, government. Reference image context from search candidates: Reference image 1: visual subject "The scale of the problem AI agents are proliferating across enterprise environments faster than security teams can track 10,000+ Apps on average in a single enterprise environment" source context "Enterprise AI Agent Security and Governance: Managing Risks in 2026 | PPTX" Reference image 2: visual subject "
openai.com
أصبحت وكلاء الذكاء الاصطناعي (AI Agents) جزءاً متزايد الأهمية من البنية الرقمية داخل الشركات. فبدلاً من مجرد الإجابة على الأسئلة مثل روبوتات الدردشة التقليدية، يمكن لهذه الوكلاء تنفيذ مهام متعددة الخطوات: استرجاع الوثائق، الاتصال بواجهات برمجة التطبيقات (APIs)، تشغيل أدوات داخلية، وحتى اتخاذ إجراءات في أنظمة الأعمال.
لكن هذا التحول يفتح الباب أيضاً لمخاطر جديدة، مثل حقن الأوامر (Prompt Injection)، والهلوسة في اتخاذ القرارات، وتسريب البيانات الحساسة، أو استخدام الأدوات بطريقة غير مقصودة. هذه التحديات هي ما تحاول الشركة الفرنسية Giskard معالجته عبر منصتها الجديدة Giskard Guards.
المشكلة: أنظمة الحماية القديمة لا تفهم سلوك الوكلاء
معظم أنظمة السلامة المبكرة للذكاء الاصطناعي صُممت لمراقبة النصوص فقط:
فحص مدخلات المستخدم
تحليل الرد النهائي للنموذج
هذا الأسلوب كان كافياً عندما كانت نماذج اللغة تعمل كواجهات محادثة بسيطة. لكن الوكلاء الحديثة تتصرف مثل برامج تعمل داخل النظام، حيث يمكنها:
الوصول إلى بيانات الشركة الداخلية أو الوثائق الخارجية
تشغيل أدوات أو استدعاء APIs
تنفيذ عمليات متعددة الخطوات
التفاعل مع أنظمة تشغيلية حساسة
نتيجة لذلك تحوّل الخطر من "محتوى ضار" إلى "سلوك ضار". فقد يتبع الوكيل تعليمات خبيثة مخفية داخل وثيقة مسترجعة، أو ينفذ إجراءً خاطئاً بسبب هلوسة، أو يكشف معلومات سرية أثناء تنفيذ مهمة.
كما أن المرشحات التقليدية القائمة على الكلمات المفتاحية غالباً ما تعاني من مشكلتين أساسيتين:
حجب طلبات شرعية عن طريق الخطأ (false positives)
الفشل في اكتشاف هجمات معقدة متعددة الخطوات مثل حقن الأوامر أو استغلال سلسلة الأدوات.
Studio Global AI
Search, cite, and publish your own answer
Use this topic as a starting point for a fresh source-backed answer, then compare citations before you share it.
ما هي الإجابة المختصرة على "كيف تحاول منصة Giskard Guards تأمين وكلاء الذكاء الاصطناعي في المؤسسات"؟
منصة Giskard Guards تعمل كطبقة أمان وقت التشغيل لوكلاء الذكاء الاصطناعي في المؤسسات، حيث تراقب سلسلة تنفيذ الوكيل بالكامل وتطبق قواعد الحوكمة بطريقة «السياسات ككود».
ما هي النقاط الأساسية التي يجب التحقق منها أولاً؟
منصة Giskard Guards تعمل كطبقة أمان وقت التشغيل لوكلاء الذكاء الاصطناعي في المؤسسات، حيث تراقب سلسلة تنفيذ الوكيل بالكامل وتطبق قواعد الحوكمة بطريقة «السياسات ككود». الأنظمة التقليدية لمراقبة الذكاء الاصطناعي تفحص النصوص فقط، لكنها تفشل غالباً في التعامل مع مخاطر الوكلاء الحديثة مثل حقن الأوامر، والهلوسة، واستخدام الأدوات بشكل غير آمن.
ماذا يجب أن أفعل بعد ذلك في الممارسة العملية؟
المنصة تستخدم كواشف متعددة ومراقبة سياقية لحماية سير العمل في قطاعات حساسة مثل البنوك والتأمين والرعاية الصحية، مع توافق تنظيمي مع قانون الذكاء الاصطناعي الأوروبي.
تقدم Giskard Guards طبقة أمان تعمل أثناء تشغيل النظام (runtime) بين وكيل الذكاء الاصطناعي والأنظمة التي يتفاعل معها.
بدلاً من تحليل الرسالة فقط، تقوم المنصة بمراقبة السياق الكامل لتنفيذ الوكيل، بما في ذلك:
المدخلات (prompts)
خطوات التفكير الوسيطة
استدعاءات الأدوات
النتائج النهائية
الهدف هو اكتشاف السلوك الخطِر قبل أن يصل إلى الأنظمة الإنتاجية داخل المؤسسة.
ثلاث طبقات أساسية للحماية
1. حواجز أمان واعية بالسياق
بدلاً من الاعتماد على مطابقة الكلمات المفتاحية، تحاول المنصة فهم نية الطلب وسياقه التشغيلي. وهذا يسمح لها بتحديد ما إذا كان الطلب يتناسب مع مهمة الوكيل أو يتعارض مع سياسات المؤسسة.
2. مجموعة من الكواشف الأمنية
تعتمد المنصة على عدة كواشف تعمل في الوقت الحقيقي، مثل:
كشف محاولات كسر القيود (jailbreak)
اكتشاف حقن الأوامر
تحديد البيانات الحساسة
رصد انتهاكات السياسات
وعند اكتشاف سلوك مريب يمكن للنظام اتخاذ قرار مثل:
السماح بالعملية
مراقبتها
أو حظرها بالكامل.
3. مراقبة سلسلة تنفيذ الوكيل
أحد أهم الاختلافات في هذا النهج هو فحص سلسلة التنفيذ الكاملة بدلاً من المدخلات والمخرجات فقط.
هذا مهم لأن الهجمات قد تظهر في خطوات وسيطة، مثل:
تعليمات خبيثة داخل مستند تم استرجاعه
استدعاء أداة غير مناسبة
سلسلة قرارات تؤدي إلى إجراء غير آمن.
الحوكمة عبر مفهوم "السياسات ككود"
فكرة أساسية في تصميم المنصة هي تحويل قواعد الحوكمة داخل المؤسسة إلى سياسات قابلة للتنفيذ برمجياً (Policy‑as‑Code).
في المؤسسات الكبيرة توجد قواعد واضحة تتعلق بالخصوصية والامتثال والتنظيم. بدلاً من الاعتماد على تعليمات نصية داخل prompt، يمكن تحويل هذه القواعد إلى ضوابط قابلة للتطبيق مباشرة داخل النظام.
تشير أبحاث حديثة إلى أن تحويل سياسات الحوكمة المكتوبة إلى حواجز تشغيلية قابلة للتحقق يساعد في مراقبة سلوك الوكلاء بشكل مستمر وفي الوقت الحقيقي.
بهذا الشكل يمكن للشركات وضع قواعد مثل:
منع كشف البيانات الطبية أو المالية
إلزام مراجعة بشرية قبل اتخاذ قرارات عالية التأثير
تحديد الأدوات المسموح للوكيل باستخدامها
تسجيل العمليات لأغراض التدقيق والامتثال
التوافق مع قانون الذكاء الاصطناعي الأوروبي
جزء من أهمية هذه المنصات مرتبط بالبيئة التنظيمية الجديدة في أوروبا.
يقدم قانون الذكاء الاصطناعي الأوروبي (EU AI Act) إطاراً تنظيمياً يعتمد على مستوى المخاطر. الأنظمة المصنفة "عالية المخاطر"—مثل تلك المستخدمة في الصحة أو التوظيف أو البنية التحتية—تخضع لمتطلبات صارمة تتعلق بإدارة المخاطر والشفافية والتوثيق والإشراف البشري والموثوقية التقنية.
يمكن أن تساعد منصات مثل Giskard Guards المؤسسات في تلبية هذه المتطلبات عبر:
تسجيل الأنشطة والقرارات
تطبيق سياسات الحوكمة أثناء التشغيل
توفير آليات إشراف ومراجعة
وهي عناصر أساسية ضمن متطلبات الأنظمة عالية المخاطر في القانون الأوروبي.
لماذا تهتم القطاعات المنظمة بهذه التقنيات؟
الحاجة إلى حوكمة الوكلاء الذكيين تكون أكبر في القطاعات التي تتعامل مع بيانات حساسة أو تخضع لتنظيمات صارمة.
البنوك والتأمين قد تستخدم الوكلاء لتحليل طلبات القروض أو اكتشاف الاحتيال أو معالجة المطالبات. أي خطأ أو تسريب بيانات قد يؤدي إلى مخاطر قانونية أو مالية.
أما في قطاع الرعاية الصحية، فقد يستخدم الوكيل لتلخيص السجلات الطبية أو جلب معلومات المرضى أو المساعدة في التوثيق الطبي. هنا تصبح حماية الخصوصية وضمان الإشراف البشري أمراً بالغ الأهمية.
لهذا السبب تفضّل كثير من المؤسسات وجود ضوابط أمنية تعمل على مستوى البنية التحتية للنظام وليس فقط داخل تعليمات النموذج.
نحو بنية ذكاء اصطناعي أوروبية "سيادية"
تقدم Giskard أيضاً منصتها ضمن سياق أوسع هو توجه أوروبا نحو ما يسمى "الذكاء الاصطناعي السيادي".
المنصة مصممة لدعم النشر داخل البنية التحتية الخاصة بالشركات (on‑premise) أو ضمن بيئات خاضعة لسيطرة المؤسسة. وهذا يسمح بالاحتفاظ بالبيانات الحساسة وسجلات التشغيل داخل الحدود التنظيمية للشركة أو داخل أوروبا.
بالنسبة للمؤسسات التي تعمل وفق قوانين مثل GDPR وقانون الذكاء الاصطناعي الأوروبي، فإن التحكم في مكان تشغيل أنظمة المراقبة والأمان قد يكون عاملاً مهماً في قرارات تبني التكنولوجيا.
التحول الأكبر: مراقبة سلوك الذكاء الاصطناعي
صعود الوكلاء الذكيين يغيّر الطريقة التي يجب أن تعمل بها أنظمة الأمان.
فالحواجز التي تفحص النصوص فقط لم تعد كافية لأن الوكلاء أصبحوا ينفذون مهاماً ويستخدمون أدوات ويتفاعلون مع بيانات حقيقية.
نهج Giskard يعكس توجهاً أوسع في صناعة الذكاء الاصطناعي:
التركيز على مراقبة سلوك الوكيل عبر كامل سير العمل، وتطبيق سياسات الحوكمة في الوقت الحقيقي، وليس فقط تصفية المحتوى.
ما إذا كانت هذه الأنظمة ستنجح في منع جميع المخاطر داخل بيئات المؤسسات الكبيرة ما زال سؤالاً مفتوحاً. لكن مع توسع استخدام الوكلاء في الأنظمة الحيوية، يبدو أن طبقات الأمان التشغيلية مثل هذه ستصبح جزءاً أساسياً من بنية الذكاء الاصطناعي في الشركات.
arxiv.org
Turning AI Governance Rules into Guardrails for AI Agents - arXiv.org
Comments
0 comments