Искусственный интеллект пишет лучше человека? Читатели не видят разницы и ставят нейросетям более высокие оценки

Исследование провели Сидни Сирс и доктор Дина Сколник Вайсберг из Университета Вилланова (США). В нем приняли участие более 2500 взрослых в возрасте от 18 до 81 года, набранных через платформу Prolific. Для эксперимента использовались три оригинальных коротких рассказа профессиональных писателей и три соответствующих рассказа, сгенерированных ChatGPT, с подборкой по жанру и сюжетным элементам .

Как проходило исследование

Эксперимент состоял из трех частей, каждая из которых была направлена на изучение различных аспектов читательского восприятия:

• Исследование 1 (1682 участника): Каждый участник читал один рассказ, причем ему сообщали — правдиво или нет — был ли он написан человеком или ИИ. Затем участники оценивали рассказ по качеству и степени увлекательности .

• Исследование 2 (424 участника): Участники читали один человеческий и один машинный рассказ, не зная, какой из них какой. После этого их просили угадать автора каждого .

• Исследование 3 (481 участник): Аналогичная схема «слепого» чтения, где участники должны были определить, написан ли каждый рассказ человеком или ChatGPT .

Что показали результаты

Результаты оказались поразительными и последовательными во всех экспериментах:

• Неспособность к распознаванию. Во втором исследовании правильная идентификация составила всего 39,93% — что хуже случайного угадывания. В третьем — 51,97%, что статистически не отличается от случайности .

• Рассказы ИИ получили более высокие оценки. Во всех исследованиях машинные тексты оценивались выше по качеству и увлекательности .

• «Про-человеческая» ошибка атрибуции. Самые высокие оценки получали рассказы, которые участникам говорили, что они написаны людьми — даже если на самом деле они были созданы ИИ . Исследователи считают, что это выявляет глубоко укоренившееся предубеждение в пользу историй, которые воспринимаются как «аутентично человеческие» .

• AI-грамотность помогает, литературная экспертиза — нет. Каждый дополнительный балл самооценки опыта работы с ИИ повышал шансы правильной идентификации на 14%. Каждый балл по валидированной шкале AI Literacy Scale (AILS) — на 33% .

Доктор Вайсберг объяснила, почему машинные тексты могут выглядеть лучше в таких оценках: «Тексты ИИ, как правило, более ясные, прямые и легкие для восприятия», в то время как человеческие рассказы «часто более тонкие и сложные». Она добавила: «Люди в целом предпочитают предсказуемость, потому что сложный или требующий усилий материал задействует больше мозговых ресурсов» .

Почему читатели попадаются на удочку

Исследование опирается на растущий массив данных о восприятии текстов, написанных ИИ. Машинная проза, как правило, избегает двусмысленности, следует предсказуемым повествовательным структурам и эффективно подводит к развязке — все это делает чтение легким и приятным. Человеческая литература, напротив, часто стремится к сложности, нюансам и неразрешенной напряженности, что может казаться менее удовлетворяющим, даже если художественно богаче .

Особенно показательно выявленное «про-человеческое» искажение. Читатели понижали оценки рассказам, которые, по их мнению, написал ИИ — даже если содержание было идентично тексту, который они хвалили под «человеческой» меткой. Этот парадокс создает ловушку для студентов: кто честно указывает на использование ИИ, может столкнуться с недоверием и более низкой оценкой, даже если работа качественная, а те, кто скрывает использование ИИ, выигрывают от предпочтения «человеческого» авторства .

Что это значит для образования и академической честности

Результаты исследования ставят перед университетами и их политиками в области академической честности фундаментальные вопросы:

• Обнаружение ИИ ненадежно. Поскольку даже обученные читатели не способны отличить машинный текст от человеческого с результатом выше случайности, традиционные антиплагиатные системы и простое мнение преподавателя — больше не работают .

• AI-грамотность — самый эффективный ответ. Исследование показало, что знакомство с системами ИИ улучшает способность к распознаванию. Это значит, что университетам следует вкладываться в программы AI-грамотности и для студентов, и для преподавателей, а не полагаться исключительно на контроль .

• Формат заданий нужно пересматривать. Если ИИ способен создавать тексты, которые оцениваются не хуже, а то и лучше человеческих, традиционные домашние эссе и стандартные письменные работы перестают быть валидным инструментом проверки индивидуальных способностей студента. Университетам необходимо задуматься: какие именно навыки они на самом деле оценивают и как .

• Правила академической честности должны меняться. Исследование подсказывает, что нужен более тонкий подход — такой, который четко определяет приемлемое и неприемлемое использование ИИ, делает акцент на процессе работы и рефлексии, а не на финальном результате, и включает AI-грамотность в учебные программы .

Доктор Вайсберг подчеркнула, что полученные результаты не означают устаревания человеческого творчества: «Люди пишут как форму творческого самовыражения, чтобы бросить вызов самим себе или осмыслить свой опыт. То, что ИИ может генерировать похожие на человеческие рассказы, ничего в этом не меняет» .