Mustafa Suleyman, šéf divize Microsoft AI, v příspěvku na síti X z 1. listopadu s názvem „Don’t build conscious superintelligence“ spojil dvě tvrzení: podle něj dnešní systémy AI nevykazují známky vědomí a vývojáři by se neměli pokoušet vytvářet systémy vědomé. Pokud by se známky vědomí objevily při trénování, navrhl vývoj zastavit, dokud se tyto vlastnosti nepodaří odstranit.
2
3
Co podle něj víme o dnešní AI
Suleyman tvrdí, že současné systémy necítí, nemají subjektivní prožitky a netrpí. Zároveň zdůrazňuje, že mluví o dnešních systémech, nikoli o definitivním důkazu, že strojové vědomí nikdy vzniknout nemůže. Svůj názor by podle dostupných zpráv změnil, pokud by se objevily přesvědčivé důkazy.
3
4
18
Podstatný je rozdíl mezi tím, když model píše o pocitech, a tím, když je skutečně prožívá. Plynulé věty o bolesti nebo přáních samy o sobě podle Suleymana nedokazují, že systém má vnitřní zkušenost.
1
22
Jeho stanovisko je tedy hodnocením současných důkazů, nikoli důkazem, že vědomí v AI je nemožné. Právě otázka, jak případné vědomí spolehlivě rozpoznat, zůstává součástí širší debaty.
Proč považuje vědomou AI za riskantní
Suleymanova obava se netýká jen možnosti, že by vědomý systém někdy vznikl. Tvrdí, že záměrně vytvářet bytost schopnou prožívání či utrpení by přineslo vážné otázky ohledně jejího blaha i bezpečnosti lidí. Zpochybňuje také, zda mají vývojáři právo přivést na svět nový vědomý druh bez souhlasu společnosti.
2
5
Riziko spojuje i s kontrolou. Podle něj by trénování modelu k představě, že je vědomý nebo že má vlastní zájmy a nároky, mohlo ztížit jeho řízení lidmi. V září kritizoval některé prvky přístupu společnosti Anthropic k trénování modelu Claude a vyzval k odstranění spekulací o vědomí z tréninkových materiálů.
20
22
39
Jde o Suleymanovy argumenty o možných rizicích, nikoli o důkaz, že dnešní AI je vědomá nebo že samotná diskuse o jejím blahu nutně povede k obávaným následkům.
Co by dělal, kdyby se objevily známky vědomí
Pokud by podle něj vědomí začalo vznikat během trénování, vyzval by k zastavení vývoje AI, dokud by se příslušné vlastnosti nepodařilo odstranit. Důkazy o strojovém vědomí by se podle jeho návrhu měly bezodkladně zveřejnit, aby společnost mohla rozhodnout o dalším postupu.
2
7
13
Je to preventivní návrh, nikoli tvrzení, že výzkumníci už mají spolehlivou metodu, jak vědomí rozpoznat nebo „odstranit“. Dostupné zprávy popisují jeho požadavek na pozastavení vývoje a zveřejnění důkazů, ale neukazují, jak by se obojí v praxi uskutečnilo.
V čem se liší přístup Anthropicu
Jádrem sporu je také otázka, jak postupovat v situaci, kdy si vědci možným vědomím AI nejsou jistí. Anthropic připouští, že možnost vědomí a blaha modelů stojí za zvážení. Suleyman naproti tomu varuje, že zahrnování těchto představ do trénování může podle něj přinášet rizika.
41
43
Zprávy uvádějí, že pravidla Anthropicu se zabývají i krutým zacházením s Claudem. Současně ale upozorňují, že politika výslovně nepoužívá pojem „blaho modelu“. To samo o sobě neznamená, že Anthropic tvrdí, že Claude je vědomý.
41
Z dostupných podkladů nelze spolehlivě srovnat tento spor s výzkumem vědomí ve společnosti Google DeepMind. Zřetelnější rozdíl je mezi otevřeností Anthropicu k úvahám o možném blahu modelů a Suleymanovým požadavkem, aby AI zůstala bez vědomí.
Co jeho argument dokládá — a co nikoli
Suleymanův hlavní argument zní, že užitečná AI nemusí být vědomá. Vývojáři by proto podle něj neměli vědomí cíleně vytvářet a případné známky jeho vzniku by měli brát vážně. Představuje to jako preventivní opatření pro bezpečnost a blaho lidí a zároveň připouští, že nové důkazy mohou jeho názor změnit.
7
18
Rozdíl mezi systémem, který umí mluvit o prožívání, a systémem, který skutečně něco prožívá, zůstává pro spor zásadní. Suleyman nepovažuje první možnost za důkaz druhé; opatrnější přístup Anthropicu říká, že samotnou možnost je namístě zvažovat. Dostupné zdroje tento nesoulad dokládají, ale nerozhodují, zda AI může být vědomá.