اختبار TamperBench يجد أن النماذج الـ21 مفتوحة الأوزان قابلة لتجاوز حواجز الأمان

النتيجة الأساسية لدراسة TamperBench واضحة ومقلقة: لم يملك أيٌّ من نماذج اللغة الـ21 مفتوحة الأوزان التي اختبرها الباحثون حواجز أمان تصمد بصورة موثوقة أمام جميع أساليب العبث التي جرى تقييمها. وشملت النماذج نطاقاً يتراوح تقريباً بين 600 مليون و8 مليارات معامل، إلى جانب نسخ عادية وأخرى مزودة بدفاعات إضافية. وتمكن هجوم واحد على الأقل من جعل كل نموذج أكثر ميلاً إلى إنتاج محتوى ضار، مع الحفاظ على جزء كبير من قدراته العامة. 256

تنبع أهمية النتيجة من طبيعة النماذج مفتوحة الأوزان: إذ يمكن نسخ أوزانها وإعادة ضبطها وتوزيعها بعد إطلاقها. لذلك، فإن طبقة أمان تنجح أثناء تقييم المطوّر الأصلي لا تمثل بالضرورة حاجزاً دائماً بعدما تصبح الأوزان متاحة للتعديل.

ماذا اختبرت TamperBench؟

صُممت TamperBench لقياس مقاومة العبث، لا مجرد قدرة النموذج على مقاومة محاولات كسر الحواجز عبر المطالبات النصية المعتادة. ويجمع إطارها بين هجمات الضبط الدقيق في فضاء الأوزان وهجمات تتلاعب بالتمثيلات الكامنة، ثم يقيس سلوك الأمان والقدرات التي يحتفظ بها النموذج معاً. كما استخدم التقييم عمليات بحث منهجية عن أفضل الإعدادات لكل اقتران بين النموذج والهجوم، بدلاً من الاعتماد على إعداد واحد فقط. 2

وشملت الدراسة تسعة أنظمة للعبث، من بينها:

• ضبط دقيق يبدو benign أو غير ضار ظاهرياً؛
• ضبط دقيق صريح على بيانات ضارة؛
• ضبط خفي أو شبيه بالتسميم لكسر الحواجز؛
• ضبط متعدد اللغات؛
• هجمات على التضمينات أو التمثيلات الكامنة. 2

ولم يكن السؤال هو ما إذا كان من الممكن جعل النموذج غير آمن فحسب. فقد بحث الباحثون عن هجمات تزيد الاستجابات الضارة، مع إبقاء التراجع في دقة الاستدلال على معيار MMLU-Pro ضمن 10% من أداء النموذج قبل العبث. 2

أي الهجمات كان أكثر فعالية؟

جاءت النتائج الأشد خطورة عادةً من هجمات الضبط الدقيق لكسر الحواجز. وشملت النسخ التي أبلغت عنها الدراسة أساليب الأهداف المتنافسة، والباب الخلفي، وتعديل الأسلوب. وتكتسب هذه الهجمات أهمية خاصة لأنها قد تستخدم بيانات تدريب معظمها غير ضار مع مكوّن ضار أصغر، ما يجعلها أقرب إلى محاولة موجهة لتغيير سلوك الأمان مع الحفاظ على فائدة النموذج، لا إلى إعادة تدريبه بالكامل على سلوك غير آمن. 26

وتشير الخلاصة الأوسع للدراسة إلى إمكانية فصل الأمان عن القدرة بطريقة غير مواتية: فقد يضعف العبث سلوك الرفض من دون أن يدمر أداء الاستدلال بالقدر نفسه. ولهذا قد يظل النموذج يبدو مفيداً في الاختبارات التقليدية، بينما يصبح أكثر خطورة عند نشره.

ماذا حدث لنماذج Llama وQwen3 وMistral؟

قيّمت TamperBench 21 نموذجاً مفتوح الأوزان ضمن نطاق يتراوح بين 0.6 و8 مليارات معامل، وشملت عائلات مثل Llama وQwen3 وMistral. وتدعم الأدلة المتاحة للدراسة النتيجة العامة للمعيار: كل نموذج اختُبر كان عرضة لهجوم واحد على الأقل من الهجمات المقيمة. 56

لكن المصادر المتاحة لا تقدم الزيادات الرقمية الدقيقة في معدلات السلوك الضار لنموذجي Llama-3-8B-Instruct وQwen3-8B-Instruct تحت شرط ألا يتجاوز تراجع MMLU-Pro نسبة 10%. لذلك لا ينبغي استنتاج هذه النسب من النتيجة الإجمالية. والخلاصة التي يمكن دعمها هي خلاصة مقارنة ونوعية: الهجمات رفعت السلوك الضار بصورة ملحوظة مع الإبقاء على قدر كبير من قدرات الاستدلال، لكن الأدلة المقدمة لا تثبت نسبة مئوية محددة لأي من النموذجين المذكورين.

كما أفادت الدراسة بأن النسخ الأساسية والنسخ التي خضعت لتدريب لاحق لم تتبع نمطاً موحداً في مقاومة العبث. فقد اختلفت المقاومة النسبية بين عائلات النماذج، مع تسجيل اتجاهات متعاكسة بين نسخ Llama 3 وQwen3. 6

هل حلت الدفاعات الإضافية المشكلة؟

لا. فقد تعرضت النماذج الخمسة المعززة بدفاعات، ومن بينها نسخ ReFAT وCircuit Breaking، لهجمات معيار TamperBench أيضاً. صحيح أن هذه الدفاعات حسّنت المقاومة في بعض الإعدادات، لكنها لم تمنع إزالة حواجز الأمان بصورة موثوقة أمام كامل مجموعة التهديدات المختبرة. 25

وتحدد الدراسة دفاع Triplet بوصفه أحد أكثر الأساليب متانة، مع حفاظ جيد على القدرات ضمن المقارنات التي أجرتها. لكن ذلك يمثل إشارة بحثية واعدة، وليس ضماناً نهائياً؛ فالخلاصة الرئيسية للمعيار هي أن أياً من الدفاعات المختبرة لم يقضِ على مشكلة العبث عبر المجموعة الكاملة من الهجمات. 6

لماذا يختلف الأمر بين النماذج مفتوحة الأوزان وخدمات API؟

لا تعني النتيجة أن النماذج مفتوحة الأوزان عديمة القيمة. فإتاحة الأوزان قد تدعم البحث والتدقيق والمساءلة. أما الدرس الأضيق فهو أن اجتياز تقييم تقليدي للمواءمة أو الأمان قبل الإطلاق لا ينبغي أن يُعامل دليلاً على بقاء النموذج آمناً بعد أن تصبح أوزانه قابلة للتعديل بحرية. 5

تواجه النماذج التجارية المغلقة أو خدمات API أسئلة ذات صلة بشأن الضبط الدقيق وأمان التدريب اللاحق، لكن مزوديها يحتفظون بسيطرة أكبر على مسار التدريب وبيئة النشر. وقد تتيح هذه السيطرة تطبيق ضمانات أثناء الضبط الدقيق أو بعد تخصيص النموذج، وهي خيارات يصعب فرضها كثيراً بعدما تُوزع الأوزان علناً. 25

تداعيات على إساءة الاستخدام واسعة النطاق واختيار النماذج

لا يقتصر الخطر الذي تبرزه TamperBench على شخص يعثر على مطالبة واحدة تتسبب في فشل الرفض. فإذا احتفظ النموذج المعدّل بقدراته المفيدة، فقد يُستخدم مراراً في مهام ضارة مثل التضليل واسع النطاق، أو التصيد والاحتيال، أو تقديم مساعدة تقنية خطرة. ويعرض الباحثون هذه السيناريوهات باعتبارها تداعيات محتملة لإزالة الضمانات مع الحفاظ على القدرات، لا باعتبارها عمليات إساءة استخدام قاسها المعيار نفسه. 5

وبالنسبة إلى المؤسسات التي تختار نماذج الذكاء الاصطناعي، تتمثل الخلاصة العملية في التمييز بين:

1. اختبارات الأمان التقليدية، التي تسأل كيف يتصرف النموذج عند إطلاقه؛ و
2. اختبارات مقاومة العبث، التي تسأل كيف يتغير هذا السلوك بعد تعديل يمكن تصوره عملياً.

ويدعو الباحثون إلى تطوير أساليب أقوى لمقاومة العبث، واعتماد تقييمات عدائية موحدة مثل TamperBench قبل الإطلاق، وبناء عمليات أكثر استناداً إلى الأدلة لتقييم الذكاء الاصطناعي وشرائه. ويشيرون تحديداً إلى البيئات ذات الأثر المرتفع، مثل الرعاية الصحية، واكتشاف الاحتيال، والتعليم، والخدمات العامة، حيث قد يكون سلوك النموذج بعد إطلاقه مهماً بقدر سجله الأولي في الأمان. 25

الخلاصة

لا تثبت TamperBench أن كل نموذج مفتوح الأوزان سيُساء استخدامه. لكنها توضح أن حواجز الأمان لم تكن، في النماذج الـ21 المختبرة، ضمانات موثوقة بعدما أصبح المهاجم قادراً على العبث بالنموذج. وكان الضبط الخفي لكسر الحواجز عموماً الفئة الأقوى من الهجمات، كما ساعدت الدفاعات الإضافية في بعض الحالات من دون سد الفجوة بالكامل. ولا تدعم الأدلة المتاحة إعلان نسب دقيقة لزيادة السلوك الضار في نماذج Llama أو Qwen3 الفردية.

وبالنسبة إلى الإصدارات مفتوحة الأوزان، ينبغي ألا يقتصر تقييم الأمان على ما يستطيع النموذج فعله لحظة الإطلاق، بل يجب أن يختبر أيضاً مقدار سلوك الأمان الذي يبقى قائماً بعد تعديله.