読者は人間とAIの小説を見分けられず、AI作品を好む——画期的な研究結果

この研究は、アメリカ・ビラノバ大学のシドニー・シアーズ氏とディーナ・スコルニック・ワイスバーグ博士が主導。Prolific（オンライン実験プラットフォーム）を通じて集めた18歳から81歳までの2500人以上の成人を対象に実施された。実験では、出版実績のある人間の作家が書いた3編のオリジナル短編小説と、ChatGPTが生成した同じジャンル・構成の3編の小説が使用された 。

研究の仕組み

研究は3段階で構成され、それぞれ読者の認識の異なる側面を測定するよう設計された。

• 研究1（参加者1682人）： 各参加者は1つの小説を読み、それが人間またはAIのどちらによって書かれたかを、正しい場合と誤った場合を含めて伝えられた。その後、作品の質と没入感について評価した 。

• 研究2（参加者424人）： 参加者は人間が書いた小説とAIが生成した小説を1編ずつ、どちらがどちらか明かされない状態で読み、それぞれの作者を推測した 。

• 研究3（参加者481人）： 研究2と同様のブラインド（作者非公開）方式で、各作品が人間とChatGPTのどちらの作かを識別するよう求められた 。

研究が明らかにしたこと

結果は一貫しており、衝撃的なものだった。

• 識別の失敗。 研究2での正答率はわずか39.93％で、偶然の確率（50％）を下回った。研究3では51.97％で、統計的に偶然と変わらなかった 。

• AI作品が高評価。 すべての研究を通じて、AIが生成した小説は品質と没入感の両方で人間の作品より高い評価を得た 。

• 「プロ・ヒューマン」帰属バイアス。 最も高い評価を受けたのは、参加者が「人間が書いた」と知らされた作品だった。たとえそれが実際にはAIが生成したものであっても同様だった 。研究者らは、これが「真正な人間の創作」と認識されたものに対する深く根付いたバイアスを明らかにしていると指摘する 。

• AIリテラシーは効果的だが、文学の専門知識は無関係。 自己申告によるAIに関する知識が1ポイント上がるごとに、正しい識別の確率が14％上昇。また、検証済みのAIリテラシースケール（AILS）では1ポイントにつき33％の識別率向上が見られた 。

ワイスバーグ博士は、AIの文章がなぜ人間の作品よりも高い評価を得るのかについて、AIの書き方は「より明確で直接的で、処理が容易である傾向がある」のに対し、人間の書く物語は「より繊細で複雑であることが多い」と説明する。また「人は一般的に予測可能性を好む。なぜなら、難解で繊細な内容はより多くの脳の処理能力を必要とするからだ」と述べている 。

なぜ読者は騙されるのか

この研究は、AI生成テキストに対する認識に関する証拠を積み上げるものだ。AIが書く散文は曖昧さを避け、予測可能な物語構造に従い、効率的に結末を提示する。これらすべてが読むことを楽に感じさせる要素だ。それに対して人間のフィクションは複雑さや繊細さ、未解決の緊張を抱えることが多く、芸術的に豊かであっても即座の満足感は得られにくい 。

特に注目すべきは、この研究で明らかになった「プロ・ヒューマン・バイアス」だ。読者はAIが書いたと思われる作品に対しては、同じ内容であっても「人間が書いた」というラベルで称賛した作品よりも低い評価を与えた。この帰属バイアスはパラドックスを生み出す。つまり、AIの利用を正直に開示した学生は、たとえ作品の質が高くても信頼性のペナルティを受ける可能性がある一方、AIの使用を隠した学生は、人間の作者であると認識されることによるバイアスの恩恵を受ける可能性がある 。

教育とアカデミック・インテグリティへの影響

この研究結果は、大学とそのアカデミック・インテグリティ（学術的誠実性）に関する方針に根本的な課題を突きつけている。

• 検出は信頼できない。 訓練された読者でさえ、AIと人間の文章を区別する能力は偶然のレベルに近い。つまり、従来の剽窃（ひょうせつ）検出ツールや教員の判断だけでは、AIが作成した提出物を確実に特定することはできない 。

• AIリテラシーが最も効果的な対策。 この研究では、AIシステムへの familiarity（習熟度）が識別能力を向上させることがわかった。これは、大学が単に取り締まりに頼るのではなく、学生と教員の両方に対するAIリテラシー教育に投資すべきであることを示唆している 。

• 評価設計の抜本的な見直しが必要。 もしAIが人間の仕事と同等かそれ以上と判断される文章を生成できるならば、持ち帰り課題や標準的なレポート課題は、もはや個々の学生の能力を測定する有効な手段ではないかもしれない。大学は、実際にどのようなスキルを評価しているのか、またどのように評価すべきかを再考する必要がある 。

• アカデミック・インテグリティ方針の進化が必要。 この研究は、より微妙なアプローチが必要であることを示唆している。すなわち、許容されるAIの使用と許容されない使用を定義し、最終成果物よりもプロセスと内省を重視し、AIリテラシーをカリキュラムに組み込むような方針である 。

ワイスバーグ博士は、この研究結果が人間の作者を時代遅れにするものではないと強調している。「人間は創造的な自己表現の一形態として、あるいは自分自身に挑戦するために、または自分の経験を理解するために書くのです。AIが人間のような物語を生成できるという事実は、そのことを何ら変えるものではありません」。