ในโครงการศึกษาทางคลินิกในโลกจริง การสกัดข้อมูลอัตโนมัติด้วย AI จากเอกสาร PDF ส่งผลให้ความเร็วเพิ่มขึ้น 500 เท่า เมื่อเทียบกับการสกัดด้วยมือ พร้อมผลลัพธ์ที่แม่นยำขึ้นและการลดความพยายามด้วยมือลงอย่างมาก ซึ่งทำได้โดยการฝึกโมเดลภาษาที่ผ่านการฝึกล่วงหน้าเฉพาะด้านให้รู้จัก 20 เอนทิตีที่เกี่ยวข้อง (เช่น ชื่อยา วันที่เริ่มต้นและสิ้นสุดการทดลอง)
การกู้คืนโครงสร้างตารางเป็นจุดอ่อนสำคัญ การวัดประสิทธิภาพบนเอกสารจริง 200 ฉบับ พบว่าโปรแกรมแยกวิเคราะห์ PDF พื้นฐานได้คะแนน 0.000 ในการกู้คืนโครงสร้างตาราง ข้อความถูกดึงออกมา แต่ความสัมพันธ์ระหว่างแถวและคอลัมน์หายไป รูปแบบที่ซับซ้อน, PDF ที่สแกนโดยไม่มีชั้นข้อความที่เหมาะสม, และเอกสารหลายคอลัมน์เป็นสาเหตุของข้อผิดพลาดส่วนใหญ่ หากไม่มีบริบทของเค้าโครง LLM อาจสร้างค่าที่ไม่จริงหรือก่อให้เกิดการละเว้น การจำแนกผิด และข้อผิดพลาดเชิงข้อเท็จจริง
ความท้าทายที่ต่อเนื่องอื่นๆ ได้แก่ ความแข็งแกร่งของวิธีการแบบกฎ และการขาดชุดข้อมูลเฉพาะด้านที่มีคำอธิบายประกอบสำหรับการฝึกอบรมวิธีการที่ใช้การเรียนรู้
ปัจจุบันมีเครื่องมือ AI หลายตัวที่ออกแบบมาสำหรับงานทบทวนวรรณกรรมอย่างเป็นระบบและการวิเคราะห์อภิมาน (meta-analysis) โดยเฉพาะ:
AI สามารถสกัดข้อมูล วิธีการศึกษา และผลลัพธ์จาก PDF งานวิจัยได้ด้วยความแม่นยำที่เป็นประโยชน์และความเร็วที่พลิกโฉม แต่ยังไม่น่าเชื่อถือพอที่จะแทนที่การตรวจสอบโดยมนุษย์สำหรับงานวิกฤต เช่น การยื่นขออนุญาตหน่วยงานกำกับดูแล หรือการทำตารางข้อมูลสำหรับการทบทวนวรรณกรรมอย่างเป็นระบบขั้นสุดท้าย โดยเฉพาะอย่างยิ่งเมื่อเกี่ยวข้องกับตารางและเค้าโครงที่ซับซ้อน การตรวจสอบความถูกต้องของข้อมูลที่สกัดโดย AI โดยมนุษย์ยังคงเป็นแนวปฏิบัติที่แนะนำสำหรับกรณีการใช้งานที่สำคัญ