Витяг даних із PDF за допомогою ШІ: панацея чи ще сирий інструмент?

Приріст швидкості вражає

У реальному проєкті з клінічними дослідженнями автоматизоване вилучення даних із PDF за допомогою ШІ забезпечило прискорення у 500 разів порівняно з ручним вилученням, а також точніші результати та значне зменшення ручної праці . Для цього навчали доменно-специфічну попередньо натреновану мовну модель розпізнавати 20 релевантних сутностей (наприклад, назва препарату, дати початку та завершення випробування) .

Де ШІ все ще пасує

Відновлення структури таблиць — головна слабкість. Тестування на 200 реальних документах показало, що базові парсери PDF отримують 0.000 балів за відновлення структури таблиць — текст витягується, але зв'язки між рядками та стовпцями втрачаються . Складні макети, скановані PDF без належного текстового шару та багатоколонкові документи спричиняють найбільше помилок. Без контексту розташування LLM можуть «галюцинувати» значення або припускатися пропусків, неправильної класифікації та фактичних помилок .

Інші постійні виклики — жорсткість методів, заснованих на правилах, та брак анотованих доменно-специфічних наборів даних для навчання підходів на основі машинного навчання .

Спеціалізовані інструменти для систематичних оглядів

Кілька ШІ-інструментів уже орієнтовані на робочий процес систематичних оглядів та мета-аналізу:

• Meta-Mar AI Data Extractor читає PDF-файли досліджень і витягує кількісні дані результатів (безперервні та бінарні показники), готові для мета-аналізу .
• Інші платформи автоматизують вилучення полів втручання, порівняння, результату, обсягу вибірки та розміру ефекту безпосередньо в таблиці доказів за допомогою шаблонів вилучення з налаштованими стовпцями .

Найкращі практики використання ШІ для вилучення даних із PDF

Для надійних результатів дослідникам слід :

• Чітко визначити цілі вилучення: вирішіть, чи потрібні вам результати, розміри вибірок, довірчі інтервали, p-значення, розміри ефектів чи параметри протоколу.
• Оцінити тип документа: цифрові PDF (векторний текст) простіші за скановані растрові. Одноколонкові легші за багатоколонкові.
• Пріоритезувати релевантність: вилучайте лише те, що відповідає вашому дослідницькому питанню, щоб уникнути шуму.
• Планувати відтворюваність: зберігайте історію налаштувань інструментів, версій та прив'язок до сторінок, щоб інші могли перевірити ті самі числа.

Висновок

ШІ може витягувати дані, методологію та результати з PDF-досліджень із корисною точністю та трансформаційною швидкістю. Але він ще недостатньо надійний, щоб повністю замінити людську перевірку для критичних застосувань, таких як регуляторні подання або фінальні таблиці даних систематичних оглядів — особливо коли йдеться про таблиці та складні макети. Рекомендованою практикою для відповідальних випадків залишається верифікація даних, отриманих за допомогою ШІ, людиною .