مراجعة من جامعة دريسدن: الذكاء الاصطناعي السريري يسبق الرقابة اللازمة لسلامته

وتكمن أهمية هذا المنظور الشامل في أن النظام قد يحقق نتائج جيدة في اختبار مضبوط، ثم يصبح غير آمن عند استخدامه فعلياً. فالأمن السيبراني، وسلوك البشر، والسياق السريري، والضوابط التنظيمية، كلها عوامل قد تغير النتيجة.

ما الذي يتطلبه النشر المسؤول؟

تدعو المراجعة إلى إجراءات سلامة تظل فعالة بعد تشغيل النظام، وتشمل التطوير الآمن، والحوكمة الدقيقة لبيانات التدريب، والاختبار المحلي في البيئة السريرية المستهدفة، وتحديد المسؤوليات البشرية بوضوح، والمراقبة المستمرة للأداء والحوادث.

عملياً، لا يكفي أن تعرف المستشفى ما إذا كانت الأداة تنتج نصاً يبدو منطقياً. بل ينبغي لها أيضاً أن تحدد:

• من المسموح له باستخدام الأداة، ولأي مهام؛
• ما البيانات التي يمكن للنظام الوصول إليها، وإلى أين تُرسل؛
• كيف يجب على الأطباء التحقق من مخرجاته؛
• من يتحمل المسؤولية إذا كان السجل أو التوصية المدعومة بالذكاء الاصطناعي خاطئة؛
• وكيف يمكن للمؤسسة التحقيق في الأداة أو إيقافها أو سحبها عند ظهور مخاطر جديدة.

نموذج رقابة من مستويين

لدعم هذه المساءلة، يقترح الباحثون طبقتين متكاملتين من الرقابة:

فرق مؤسسية لحوكمة الذكاء الاصطناعي

تتولى فرق متخصصة داخل مؤسسات الرعاية الصحية الموافقة على أدوات الذكاء الاصطناعي، وتقييمها محلياً، وتحديد المسؤوليات، والإشراف على تشغيلها. ويضمن ذلك ارتباط القرارات بمرضى المؤسسة، وإجراءاتها اليومية، وبنيتها التحتية، والتزامات العاملين المهنية.

مراكز مركزية لعمليات أمن الذكاء الاصطناعي

توصي المراجعة أيضاً بإنشاء مراكز مركزية لعمليات أمن الذكاء الاصطناعي، تُعرف اختصاراً باسم SOCs. ويمكن لهذه المراكز رصد الحوادث عبر مؤسسات مختلفة، وتبادل إشارات التهديد، وتنسيق الاستجابة. ويعكس هذا الاقتراح حقيقة أن هجوماً أو خللاً في نظام سريري واحد قد يكشف عن ثغرة أوسع تهدد مؤسسات أخرى أيضاً.

وبذلك يجمع النموذج بين المساءلة السريرية المحلية، والقدرة الأوسع على رصد المخاطر الأمنية والاستجابة لها.

لماذا قد لا تكفي القواعد التقليدية للأجهزة الطبية؟

طُورت أطر تنظيم الأجهزة الطبية التقليدية إلى حد كبير لمنتجات يمكن تقييمها باعتبارها مستقرة نسبياً. أما برمجيات الذكاء الاصطناعي السريري فقد يتغير سلوكها وملف مخاطرها مع تحديث النماذج، أو تغير توزيع البيانات، أو تطور إجراءات العمل، أو ظهور أساليب هجوم جديدة.

وهنا تظهر فجوة تنظيمية: فالحصول على موافقة أو اجتياز تقييم في نقطة زمنية محددة لا يثبت تلقائياً أن النظام المتغير باستمرار سيظل آمناً في كل سياق لاحق. كما يؤكد عمل أوسع لباحثي جامعة دريسدن في مجال تنظيم الذكاء الاصطناعي الطبي أن العلوم التنظيمية تحتاج إلى مواكبة التقنيات سريعة التطور.

وبالنسبة إلى المؤسسات الصحية، يعني ذلك أن تشغيل النظام يجب أن يكون بداية الرقابة لا نهايتها. وينبغي أن تشمل المتابعة المستمرة الأداء، والسلامة، والأمن السيبراني، والخصوصية، والإنصاف، مع وجود آليات للإبلاغ عن الحوادث وتعليق الأنظمة عند الضرورة.

لماذا تُعد موافقة المريض جزءاً من السلامة التقنية؟

تظهر هذه المخاوف أيضاً في استخدام أدوات التوثيق الصوتي بالذكاء الاصطناعي، المعروفة باسم «الكتبة الذكية»، وغيرها من أدوات تسجيل وتلخيص الزيارة الطبية. وتنص الإرشادات السريرية الأسترالية على ضرورة إبلاغ المرضى بهدف النظام ونطاق استخدامه وفوائده ومخاطره، إضافة إلى ترتيبات مراقبة سلامته وأدائه. كما تؤكد أن الطبيب يظل مسؤولاً عن الرعاية والسجلات التي أُنجزت بمساعدة الذكاء الاصطناعي.

وتشدد إرشادات مهنية أخرى لأطباء الرعاية العامة في أستراليا على ضرورة فهم الطبيب لأداة التوثيق واختبارها، والحصول على موافقة المريض قبل كل استخدام، وحماية البيانات المخزنة، والتأكد من دقة السجل الطبي.

وقد تحدثت تقارير حديثة عن تفاوت كبير في طرق الحصول على موافقة المرضى في الممارسات الأسترالية، بما في ذلك حالات اعتُبرت فيها لافتة في غرفة الانتظار كافية. كما شددت الجهة التنظيمية الطبية في أستراليا على ضرورة مراجعة الأطباء للمخرجات التي ينتجها النظام والتأكد من دقتها.

ولا تثبت الأدلة المتاحة مدى انتشار الموافقة غير الكافية أو نقص فهم التكنولوجيا بين المرضى أو الأطباء في أستراليا. لكنها توضح الحجة الأوسع التي تطرحها المراجعة: فالشفافية، والإشراف البشري، والمساءلة المؤسسية، ليست تفاصيل إدارية تضاف بعد التشغيل، بل ضوابط عملية للسلامة.

الخلاصة العملية للمؤسسات الصحية

من الأفضل فهم رسالة المراجعة باعتبارها معياراً للنشر المسؤول، لا رفضاً للذكاء الاصطناعي السريري. فقد تدعم نماذج اللغة الكبيرة إجراءات مفيدة في الرعاية الصحية، لكن تبنيها الآمن يتطلب التعامل معها بوصفها أنظمة اجتماعية وتقنية متغيرة، لا مجرد أدوات برمجية عادية.

وقبل التشغيل وبعده، ينبغي لقادة المؤسسات الصحية أن يكونوا مستعدين لتقييم النموذج، وتأمين البنية التحتية المحيطة به، وتدريب المستخدمين، وشرح دور الذكاء الاصطناعي للمرضى، ومراقبة الأداء في الواقع العملي، وتحديد من يملك صلاحية التدخل عند فشل النظام. وما لم تُبنَ هذه الضوابط، فقد يستمر انتشار الذكاء الاصطناعي السريري في تجاوز الرقابة اللازمة لجعله جديراً بالثقة.