对于发布时间、国家或参与者数量等简单数据点,AI表现良好。但在结果描述或干预措施细节等复杂数据的提取上,它常常力不从心。
在一个真实的临床研究项目中,AI驱动的PDF文档自动提取相比手动提取带来了500倍的速度提升,结果更精确,人工工作量也显著减少。该项目通过训练一个特定领域的预训练语言模型,使其能够识别20个相关实体(例如药物名称、试验开始和结束日期)。
表格结构恢复是一个主要的弱点。 一项对200份真实文档的基准测试发现,基础PDF解析器的表格结构恢复得分为0.000——文本被提取出来,但行与列之间的关系丢失了。复杂的版式、没有适当文本层的扫描PDF以及多栏文档是导致最多错误的原因。缺少布局上下文,LLM可能会产生数值幻觉,导致遗漏、误分类和事实错误。
其他持续存在的挑战包括基于规则方法的僵化,以及缺乏用于训练基于学习方法的特定领域带注释数据集。
目前已有几款AI工具专门针对系统性综述和荟萃分析流程:
为获得可靠结果,研究人员应遵循以下建议:
AI能够以有用的准确度和革命性的速度从PDF研究中提取数据、方法和结果。但对于监管提交或最终系统性综述数据表等关键应用,它还不够可靠——尤其是在涉及表格和复杂版式的情况下。对于关键用例,对AI提取的数据进行人工验证仍是推荐的做法。
对于发布时间、国家或参与者数量等简单数据点,AI表现良好。但在结果描述或干预措施细节等复杂数据的提取上,它常常力不从心。
在一个真实的临床研究项目中,AI驱动的PDF文档自动提取相比手动提取带来了500倍的速度提升,结果更精确,人工工作量也显著减少。该项目通过训练一个特定领域的预训练语言模型,使其能够识别20个相关实体(例如药物名称、试验开始和结束日期)。
表格结构恢复是一个主要的弱点。 一项对200份真实文档的基准测试发现,基础PDF解析器的表格结构恢复得分为0.000——文本被提取出来,但行与列之间的关系丢失了。复杂的版式、没有适当文本层的扫描PDF以及多栏文档是导致最多错误的原因。缺少布局上下文,LLM可能会产生数值幻觉,导致遗漏、误分类和事实错误。
其他持续存在的挑战包括基于规则方法的僵化,以及缺乏用于训练基于学习方法的特定领域带注释数据集。
目前已有几款AI工具专门针对系统性综述和荟萃分析流程:
为获得可靠结果,研究人员应遵循以下建议:
AI能够以有用的准确度和革命性的速度从PDF研究中提取数据、方法和结果。但对于监管提交或最终系统性综述数据表等关键应用,它还不够可靠——尤其是在涉及表格和复杂版式的情况下。对于关键用例,对AI提取的数据进行人工验证仍是推荐的做法。