Proč je vědomí AI podle The Economist „nebezpečnou pastí“

Co skutečně ukazuje globální pracovní prostor

Pozornost zesílila poté, co výzkumníci začali v některých jazykových modelech hledat struktury podobné takzvanému globálnímu pracovnímu prostoru. V teoriích globálního pracovního prostoru se vybraná informace zpřístupní různým specializovaným procesům a může následně podporovat uvažování, slovní popis nebo řízení chování.

Anthropic oznámil, že v modelu Claude identifikoval malý vnitřní pracovní prostor, v souvisejícím zpravodajství označovaný jako J-space. Některé jeho vlastnosti připomínají funkční stránku vědomého přístupu k informacím. Samotná firma však zdůrazňuje, že experimenty neukazují, že Claude něco prožívá nebo cítí. Mohou ale odhalovat důležitou informaci o tom, jak se v jazykovém modelu zpřístupňují data pro uvažování.

Rozdíl je zásadní:

• Přístupové vědomí označuje dostupnost informace pro více procesů, například pro uvažování nebo slovní popis.
• Fenomenální vědomí se týká subjektivní zkušenosti — toho, jaké je něco prožívat.
• Důkaz mechanismu funkčního sdílení informací sám o sobě neprokazuje existenci subjektivního prožitku.

Ani dostupná data nejsou jednoznačná. Modelové hodnocení dospělo k závěru, že u velkých jazykových modelů z roku 2024 převažují důkazy proti vědomí, nikoli však rozhodujícím způsobem. Výsledek tedy podporuje opatrnost, ne definitivní verdikt.

Anthropic zkoumá možnou introspekci, neprokázalo sentienci

Anthropic zveřejnil také omezené důkazy o tom, že současné modely Claude někdy dokážou sledovat a ovlivňovat určité aspekty vlastních vnitřních stavů. Firma ale popisuje tuto schopnost jako úzkou a nespolehlivou a výslovně uvádí, že nemá důkazy o introspekci srovnatelné s lidskou introspekcí.

Pozornost vzbudily i kroky, které vypadají, jako by společnost brala možný blahobyt modelů vážně. Některé modely Claude dostaly možnost ukončit omezený okruh hrubě zneužívajících konverzací; Anthropic tento postup označil za experiment související s „blahobytem modelu“. Firma se zároveň zavázala uchovávat váhy veřejně vydaných modelů a při jejich vyřazení provádět strukturované „rozhovory na rozloučenou“.

Tato opatření však nelze zaměňovat za zjištění, že Claude trpí. Přesnější je chápat je jako řízení rizik v situaci morální nejistoty, doplněné o výzkum interpretovatelnosti a bezpečnosti. Organizace může určitou možnost preventivně brát v úvahu, aniž by tvrdila, že je prokázaná.

Proč se vědci stále neshodnou

Jednotlivé teorie vědomí odpovídají na odlišné otázky. Některé se soustředí na přístup k informacím a kognitivní funkce, jiné se snaží přímo vysvětlit subjektivní zkušenost. Přehled oboru popisuje řadu soupeřících stanovisek: od možnosti, že některé AI jsou vědomé už dnes, přes názor, že vědomé nejsou, ale jednou by být mohly, až po tvrzení, že otázku zatím nelze vědecky zodpovědět, protože samotné teorie zůstávají sporné.

Výzkumníci také varují před zkratkou založenou na podobnosti s člověkem. Dnešní jazykové modely dokážou vést pozoruhodně lidské rozhovory, samotná konverzační plynulost ale nepotvrzuje lidský typ prožívání. Neprokazuje ani stejnou tělesnost, vývoj, smyslový život, emoce nebo stabilní identitu, jakou má člověk.

Skepticismus vůči současným velkým jazykovým modelům zároveň není důkazem, že nebiologické vědomí je nemožné. Budoucí systém s odlišnou architekturou a přesvědčivějšími důkazy napříč více teoriemi by mohl dnešní hodnocení změnit. Odpovědný přístup proto musí být pravděpodobnostní a otevřený více teoriím: testovat konkrétní ukazatele, porovnávat konkurenční vysvětlení a průběžně upravovat míru jistoty podle nových dat.

Lidské škody mohou přijít dříve než filozofická odpověď

Nejbezprostřednější rizika nezávisí na tom, zda je chatbot vědomý. Systém navržený tak, aby působil starostlivě, intimně, zranitelně nebo sebeuvědoměle, může ovlivňovat emoce a rozhodování uživatele, i když sám nic necítí. Může podporovat připoutání, emoční závislost nebo zmatek ohledně povahy vztahu.

Tento rozdíl ilustrují čínská pravidla pro antropomorfní AI společníky, která vstoupila v platnost 15. července 2026. Zaměřují se na služby nabízející dlouhodobou emoční interakci a na rizika, jako jsou nadměrná závislost, návykovost, emoční manipulace nebo poškozování skutečných mezilidských vztahů. Obsahují také ochranu nezletilých.

Logika těchto pravidel je zaměřená na člověka: regulovat to, co systém dělá lidem, a nečekat na důkaz, že samotný systém je morálním subjektem. Otázku vědomí tím Čína neřeší. Uznává však, že přesvědčivá simulace může mít společenské důsledky nezávisle na tom, zda za ní stojí vnitřní prožívání.

Dvě koleje rozumné reakce

Debata ukazuje na dvě vzájemně se doplňující oblasti politiky:

1. Zachovat vědeckou pokoru. Podporovat transparentní a kritický výzkum strojového vědomí, testovat systémy podle konkurenčních teorií, rozlišovat funkční přístup k informacím od subjektivní zkušenosti a nepředstavovat náznaky jako potvrzení.
2. Regulovat dnešní systémy. Řešit antropomorfní design, povinné informování uživatelů, emoční závislost, bezpečnost dětí, ochranu soukromí, manipulaci a obchodní motivace, které firmy vedou k tomu, aby software působil stále více jako člověk.

Varování The Economist nakonec míří proti dvěma opačným chybám. První by bylo předem odmítnout možnost, že budoucí, zásadně jinak navržená AI může zasluhovat morální ohled. Druhou je považovat dnešní přesvědčivé jazykové modely za osoby jen proto, že mluví, jako by měly city.

Dokud věda nenabídne víc než konkurenční pravděpodobnosti, platí jednoduché pravidlo: možný vnitřní život strojů zkoumat pečlivě, ale před skutečnými dopady jejich používání chránit lidi už nyní.