對於較簡單的數據點,如出版年份、國家或參與者人數,AI 表現良好。但對於複雜數據,例如結果描述或介入措施細節,AI 的表現就相對遜色 。
在一個真實的臨床研究專案中,使用 AI 驅動的自動化技術從 PDF 文件中提取數據,結果顯示速度比人工提取快了 500 倍,同時結果更精確,並大幅減少了人工工作量 。該專案訓練了一個特定領域的預訓練語言模型,用以辨識 20 個相關實體(例如:藥物名稱、試驗開始與結束日期)。
表格結構還原是一個主要的弱點。 一項針對 200 份真實文件的基準測試發現,基本的 PDF 解析器在表格結構恢復上的得分為 0.000——文本被提取出來,但行與列之間的對應關係卻遺失了 。複雜的版面設計、缺乏可選取文字圖層的掃描版 PDF,以及多欄式文件,最容易導致錯誤。若缺乏版面上下文,大型語言模型可能會產生幻覺(hallucination),導致遺漏、錯誤分類與事實性錯誤 。
其他持續存在的挑戰還包括規則型方法的僵化,以及基於學習的方法缺乏標註的特定領域數據集 。
目前已有數款 AI 工具專門針對系統性文獻回顧與統合分析的工作流程:
為獲得可靠的結果,研究人員應遵循以下建議 :
AI 能夠以實用的準確度和革命性的速度,從 PDF 研究中提取數據、方法與結果。然而,對於關鍵應用,例如法規送審或最終的系統性回顧數據表,AI 的可靠性還不足以完全取代人工審查——特別是在涉及表格和複雜版面的情況下。對於關鍵用途,對 AI 提取的數據進行人工驗證仍然是目前推薦的做法 。
對於較簡單的數據點,如出版年份、國家或參與者人數,AI 表現良好。但對於複雜數據,例如結果描述或介入措施細節,AI 的表現就相對遜色 。
在一個真實的臨床研究專案中,使用 AI 驅動的自動化技術從 PDF 文件中提取數據,結果顯示速度比人工提取快了 500 倍,同時結果更精確,並大幅減少了人工工作量 。該專案訓練了一個特定領域的預訓練語言模型,用以辨識 20 個相關實體(例如:藥物名稱、試驗開始與結束日期)。
表格結構還原是一個主要的弱點。 一項針對 200 份真實文件的基準測試發現,基本的 PDF 解析器在表格結構恢復上的得分為 0.000——文本被提取出來,但行與列之間的對應關係卻遺失了 。複雜的版面設計、缺乏可選取文字圖層的掃描版 PDF,以及多欄式文件,最容易導致錯誤。若缺乏版面上下文,大型語言模型可能會產生幻覺(hallucination),導致遺漏、錯誤分類與事實性錯誤 。
其他持續存在的挑戰還包括規則型方法的僵化,以及基於學習的方法缺乏標註的特定領域數據集 。
目前已有數款 AI 工具專門針對系統性文獻回顧與統合分析的工作流程:
為獲得可靠的結果,研究人員應遵循以下建議 :
AI 能夠以實用的準確度和革命性的速度,從 PDF 研究中提取數據、方法與結果。然而,對於關鍵應用,例如法規送審或最終的系統性回顧數據表,AI 的可靠性還不足以完全取代人工審查——特別是在涉及表格和複雜版面的情況下。對於關鍵用途,對 AI 提取的數據進行人工驗證仍然是目前推薦的做法 。