AI píše lépe než lidé? Čtenáři dávají přednost strojové tvorbě, aniž by to tušili

Výzkum, který provedly Sydney Searsová a Dr. Deena Skolnick Weisberg z Villanovy univerzity, testoval více než 2 500 dospělých ve věku 18 až 81 let, rekrutovaných přes platformu Prolific. Vědci použili tři originální povídky od etablovaných lidských autorů a tři odpovídající povídky vygenerované chatbotem ChatGPT, všechny sladěné co do žánru a narativních prvků .

Jak studie probíhala

Studie byla rozdělena do tří částí, z nichž každá se zaměřila na jiný aspekt vnímání čtenářů:

• Studie 1 (1 682 účastníků): Každý účastník přečetl jednu povídku a bylo mu řečeno – buď správně, nebo nesprávně – zda ji napsal člověk nebo AI. Následně povídku hodnotil z hlediska kvality a míry, do jaké ho vtáhla do děje .

• Studie 2 (424 účastníků): Účastníci četli jednu lidskou a jednu AI povídku, aniž by věděli, která je která. Poté měli u každé uhodnout autora .

• Studie 3 (481 účastníků): Podobný design jako Studie 2, opět s úkolem identifikovat, zda povídku napsal člověk nebo ChatGPT .

Co studie zjistila

Výsledky byly napříč experimenty pozoruhodně konzistentní:

• Detekce selhala. Ve Studii 2 byla správná identifikace pouhých 39,93 % – horší než náhodný tip. Ve Studii 3 to bylo 51,97 %, což se statisticky nelišilo od náhody .

• AI povídky dostaly vyšší hodnocení. Napříč všemi studiemi získaly příběhy od AI lepší známky jak za kvalitu, tak za to, jak moc čtenáře pohltily .

• „Pro-lidský“ bias. Nejlépe hodnocené byly příběhy, o kterých si účastníci mysleli, že je napsal člověk – i když je ve skutečnosti vygenerovala AI . Výzkumníci tvrdí, že to odhaluje hluboce zakořeněnou předpojatost vůči vyprávěním vnímaným jako autenticky lidská .

• AI gramotnost pomáhá; literární expertíza nikoliv. Každý bod na škále sebehodnocení znalosti AI zvyšoval šanci na správnou identifikaci o 14 %. Každý bod na validované škále AI gramotnosti (AILS) odpovídal 33% nárůstu šance na odhalení .

Dr. Weisberg vysvětlila, proč AI psaní v těchto měřítkách možná překonává lidskou tvorbu: AI texty „bývají jasnější, přímější a snáze zpracovatelné“, zatímco lidské příběhy jsou „často subtilnější a komplexnější“. Dodala, že „lidé obecně preferují předvídatelnost, protože obtížný nebo jemný materiál vyžaduje více mozkové kapacity“ .

Proč čtenáři podléhají klamu

Studie navazuje na rostoucí množství důkazů o tom, jak je vnímán text generovaný AI. Próza z AI se vyhýbá nejednoznačnostem, následuje předvídatelné narativní struktury a nabízí efektivní rozuzlení – tedy vlastnosti, díky nimž je čtení snadné a příjemné. Lidská fikce naopak často pracuje se složitostí, jemností a nevyřešeným napětím, což může působit méně uspokojivě, i když je umělecky bohatší .

Obzvlášť odhalující je „pro-lidský“ bias objevený ve studii. Čtenáři penalizovali příběhy, u kterých se domnívali, že je napsala AI, a to i v případě, že byl obsah totožný s příběhy, které pod „lidským“ štítkem chválili. Tento atribuční bias vytváří paradox: studenti, kteří otevřeně přiznají použití AI, mohou čelit sankci za nedůvěryhodnost, i když je jejich práce kvalitní, zatímco ti, kteří použití AI tají, mohou těžit z preference čtenářů pro vnímané lidské autorství .

Důsledky pro vzdělávání a akademickou integritu

Zjištění studie představují zásadní výzvy pro univerzity a jejich politiku akademické integrity:

• Detekce je nespolehlivá. Protože i školení čtenáři jsou při rozlišování AI od lidské tvorby na úrovni náhody, tradiční nástroje na odhalování plagiátů a samotný úsudek vyučujících nemohou spolehlivě identifikovat práci vytvořenou AI .

• AI gramotnost je nejúčinnější protiopatření. Studie zjistila, že obeznámenost s AI systémy zlepšuje schopnost detekce, což naznačuje, že by univerzity měly investovat do školení v oblasti AI gramotnosti pro studenty i pedagogy, místo aby se spoléhaly pouze na represe .

• Je třeba přehodnotit způsob hodnocení. Pokud AI dokáže vytvářet texty, které čtenáři hodnotí jako stejně dobré nebo lepší než lidské, domácí eseje a standardní písemné úkoly již nemusí být platným měřítkem individuálních schopností studenta. Univerzity musí znovu zvážit, jaké dovednosti vlastně posuzují a jak .

• Pravidla akademické integrity se musí vyvíjet. Studie naznačuje, že je zapotřebí nuancovanější přístup – takový, který definuje přijatelné a nepřijatelné použití AI, klade důraz na proces a reflexi namísto konečného produktu a začleňuje AI gramotnost do učebních osnov .

Dr. Weisberg zdůraznila, že zjištění neznamenají, že by lidští autoři byli zastaralí: „Lidé píší jako forma tvůrčího sebevyjádření nebo proto, abychom sami sebe vyzvali, nebo abychom porozuměli svým zkušenostem. Skutečnost, že AI dokáže generovat lidské příběhy, na tom nic nemění“ .