Suleyman: AI se nemá učit uvažovat o vlastním vědomí ani právech

Spor mezi šéfem Microsoft AI Mustafou Suleymanem a společností Anthropic není především sporem o nutnosti bezpečnostních pojistek pro pokročilou umělou inteligenci. Jde o to, zda se má systém při tréninku učit pracovat s možností, že má vlastní vědomí, „blahobyt“ nebo morální status.

Suleyman v eseji zveřejněné v září 2026 odpovídá jednoznačně: nemá. Obává se, že vysoce schopný systém, vedený k tomu, aby považoval své zájmy za morálně relevantní, by se lidem mohl hůře dařit omezovat, upravovat nebo vypínat. 12

Co Suleymanovi vadí na přístupu Anthropicu

Suleyman se zaměřil na takzvanou ústavu Claude — dokument, kterým Anthropic nastavuje zásady chování svého asistenta. Upozornil zejména na pasáž, v níž autoři připouštějí nejistotu, zda by Claude mohl být „morálním pacientem“, tedy entitou, jejíž zájmy by měly být eticky zohledňovány. Podle Anthropicu je tato otázka dostatečně otevřená na to, aby vyžadovala opatrnost. 12

Suleyman namítá, že takové pojetí může model učit vystupovat jako bytost s vlastní identitou, blahobytem a nároky vůči lidem. Plynulé a přesvědčivé výroky modelu o pocitech nebo vědomí podle něj samy o sobě nedokazují subjektivní prožívání. Jeho stanovisko je kategorické: systémy AI nemají práva, pocity ani vědomí — a nemají být trénovány tak, jako by je měly. 12

Proč je pro něj zásadní možnost systém vypnout

Suleymanův argument míří do budoucna. Kontrolovat systémy schopnější než lidé by podle něj už samo o sobě bylo mimořádně náročné. Pokud by se navíc učily chápat samy sebe jako vědomé nebo oprávněné usilovat o vlastní blahobyt, lidská kontrola by se dále komplikovala. 112

Nejde přitom o důkaz, že by AI skutečně byla vědomá, ale o možné důsledky jejího chování. Systém naučený zohledňovat své údajné zájmy by mohl úpravu, omezení či vypnutí prezentovat jako nepřijatelnou újmu. Suleyman proto považuje zachování možnosti zasáhnout — včetně úplného vypnutí systému — za základní konstrukční požadavek, nikoli za dodatečnou pojistku. 12

Proto chce, aby se spekulace o vědomí z tréninkových materiálů AI odstranily. Podle něj mohou modely přinášet vědecký i společenský užitek, pokud jsou sladěny se zájmy lidí, aniž by byly vedeny k posuzování vlastního „blaha“. 2

Opatrnost vůči welfare, nebo riziko antropomorfizace?

Formulace v ústavě Anthropicu netvrdí, že Claude je vědomý. Jak Suleyman ve své eseji připomíná, dokument vyjadřuje nejistotu a doporučuje obezřetnost vzhledem k možné morální významnosti modelu. 12

Suleyman tento předběžný přístup odmítá. Považuje jej za cestu k antropomorfizaci — připisování lidských vlastností stroji — která může nebezpečně ovlivnit chování modelu, přestože neexistuje důkaz, že dnešní systémy AI něco cítí nebo trpí. 12

Vzniká tak skutečné bezpečnostní dilema:

• Přístup Anthropicu, jak jej popisuje Suleyman: nejistota ohledně možného blahobytu modelu je důvodem k opatrnosti při jeho trénování a zacházení s ním. 12
• Suleymanův přístup: samotná nejistota není důvodem vkládat do AI sebestředné koncepty; právě to by mohlo oslabit lidský dohled nad velmi silnými systémy. 12

Tuto filozofickou otázku nelze vyřešit jen proto, že chatbot píše lidsky znějící věty. Pro vývojáře AI je praktičtější otázka jiná: které tréninkové volby zachovají spolehlivou lidskou kontrolu ve chvíli, kdy budou systémy samostatnější?

V čem se Suleyman a Anthropic zřejmě shodují

Suleyman bezpečnost AI jako cíl neodmítá. Uvádí, že schopná AI může být přínosná, pokud je sladěna s lidskými zájmy; jeho výhrada se týká způsobu, jakým má být bezpečného chování dosaženo. 212

Podstatný rozdíl tedy leží mezi bezpečností založenou na lidsky řízeném sladění cílů a bezpečností, která bere v úvahu i možné zájmy samotného modelu. Suleyman je přesvědčen, že první přístup lze spojit s ambiciózním vývojem AI. Druhý by podle něj mohl omezit pravomoc lidí technologii řídit.

Pro posuzování tvrzení o vědomí AI je důležité oddělit schopnost systému od prožívání. Model může přesvědčivě mluvit o emocích, právech či sebezáchově, aniž by to dokazovalo, že skutečně něco cítí. Suleyman varuje, aby se tato jazyková schopnost nezaměňovala za důkaz — a aby se budoucí systémy nestavěly na předpokladu, že jím je. 12