AI читає повне джерело — не лише заголовки чи анотації — і перевіряє, чи воно прямо підтверджує твердження, суперечить йому або є нерелевантним. Система виявляє викривлення, вибіркове цитування або пропущений контекст . Вона надає перевагу контенту, який посилається на первинні дані з названими джерелами та має гіперпосилання на інші надійні сайти
. Матеріали анонімних авторів, які посилаються на неназваних «експертів галузі» без зовнішніх джерел, фактично не піддаються верифікації і навряд чи будуть процитовані
.
Автоматизовані системи фактчекінгу звіряють твердження з кількома незалежними джерелами. Якщо твердження підтримується кількома авторитетними джерелами, воно з більшою ймовірністю буде процитоване. Якщо джерела суперечать одне одному — надійність може бути знижена . Йдеться не про абсолютну «правоту» — це пошук консенсусу серед джерел, які AI вважає надійними
. Система шукає збіги, узгодженість і згоду між джерелами, перевіряючи, чи та сама ідея зустрічається в інших матеріалах у подібній формі
.
Кожну сторінку-кандидата система перевіряє за п'ятьма критеріями: дістатися до сторінки, прочитати її, витягнути чітку відповідь, оцінити, чи є джерело надійним саме на цю тему, переконатися, що воно достатньо конкретне для перевірки твердження, і підтвердити, що інформація актуальна для запиту . Сторінка має точно відповідати конкретному питанню, а не просто загальній темі
. Контент, зосереджений на одній чіткій концепції, легше відшукати та використати AI, ніж широкі або змішані сторінки
. Сторінка, яка проходить усі перевірки, отримує цитування; та, що провалює хоча б одну, — знаходиться, розглядається, а потім тихо відкидається
.
Отримавши правильні документи, система використовує їх як основу для відповіді — тобто генерує відповіді на основі знайденого контенту, а не покладається виключно на свої навчальні дані. Цей крок має зменшити кількість непідтверджених тверджень і галюцинацій .
Попри всі ці перевірки, точність AI-пошуковиків у цитуванні джерел далека від ідеалу. Дослідження Columbia Journalism Review протестувало вісім AI-пошукових систем і виявило, що вони цитують неправильні джерела з тривожною частотою — приблизно 60% . Іноді системи повністю вигадують цитати або беруть факти з нерелевантних розділів джерела. Як зазначає один галузевий аналіз, механізми верифікації «жоден не є бездоганним»
.
Розуміння цього конвеєра допомагає пояснити, чому одні джерела цитуються, а інші — ні. Система надає перевагу консенсусу над новизною, авторитетності над анонімністю та верифікованості над зручністю. Але високий рівень помилок означає, що користувачі все одно повинні перевіряти знайдену AI інформацію за оригінальним джерелом — особливо коли йдеться про новини, статистику та чутливу до часу інформацію. AI може швидко знайти інформацію, але вирішити, чи безпечно її повторювати — це складне завдання .
Comments
0 comments