في مشروع حقيقي لدراسة سريرية، أدى الاستخراج الآلي المدعوم بالذكاء الاصطناعي من مستندات PDF إلى زيادة السرعة بمقدار 500 ضعف مقارنةً بالاستخراج اليدوي، مع نتائج أدق وتقليل كبير في الجهد اليدوي . تضمن ذلك تدريب نموذج لغة مسبق التدريب خاص بمجال معين للتعرف على 20 كياناً ذا صلة (مثل اسم الدواء وتاريخ بدء التجربة وانتهائها)
.
استعادة بنية الجدول هي نقطة ضعف رئيسية. أظهر اختبار معياري على 200 مستند حقيقي أن المحللات الأساسية لملفات PDF سجلت 0.000 في استعادة بنية الجدول — يتم استخراج النص، لكن العلاقات بين الصفوف والأعمدة تضيع . تتسبب التنسيقات المعقدة وملفات PDF الممسوحة ضوئياً بدون طبقات نصية مناسبة والمستندات متعددة الأعمدة في معظم الأخطاء. بدون سياق التخطيط، قد تهلوس نماذج اللغة الكبيرة بقيم أو تنتج سهواً وتصنيفاً خاطئاً وأخطاءً واقعية
.
تشمل التحديات المستمرة الأخرى صلابة الأساليب القائمة على القواعد ونقص مجموعات البيانات المشروحة الخاصة بالمجال لتدريب الأساليب القائمة على التعلم .
تستهدف العديد من أدوات الذكاء الاصطناعي الآن سير عمل المراجعة المنهجية والتحليل التلوي على وجه التحديد:
يمكن للذكاء الاصطناعي استخراج البيانات والمنهجية والنتائج من ملفات PDF للدراسات بدقة مفيدة وسرعة تحويلية. لكنه ليس موثوقاً بما يكفي بعد ليحل محل المراجعة البشرية في التطبيقات الحرجة مثل الطلبات التنظيمية أو جداول بيانات المراجعة المنهجية النهائية — خاصةً عندما تكون الجداول والتنسيقات المعقدة متضمنة. يظل التحقق البشري من البيانات المستخرجة بالذكاء الاصطناعي هو الممارسة الموصى بها لحالات الاستخدام الحرجة .