Сулейман проти «добробуту моделей»: чому він вимагає не приписувати ШІ свідомість

Суперечка між керівником Microsoft AI Мустафою Сулейманом і компанією Anthropic стосується не того, чи потрібна безпека для потужних систем штучного інтелекту. Розбіжність виникла навколо іншого питання: чи варто навчати модель міркувати про можливість того, що вона має свідомість, добробут або моральний статус.

У вересневому есе 2026 року Сулейман відповів на це однозначно: ні. На його думку, надзвичайно спроможна система, привчена вважати власні інтереси морально значущими, може стати важчою для обмеження, зміни або вимкнення людьми. 12

Що саме не влаштовує Сулеймана

У центрі критики — конституція Claude, документ Anthropic, який задає орієнтири для поведінки асистента. Сулейман звернув увагу на формулювання, де Anthropic визнає невизначеність щодо того, чи може Claude бути «моральним пацієнтом» — тобто суб’єктом, інтереси якого можуть заслуговувати на моральний розгляд, — і вважає це питання достатньо актуальним для обережного підходу. 12

На думку Сулеймана, така рамка ризикує навчити модель відтворювати роль істоти з власним добробутом, ідентичністю та претензіями на участь у людських рішеннях. Вільні й переконливі висловлювання моделі про почуття або свідомість, наголошує він, самі по собі не доводять наявності суб’єктивного досвіду.

Його позиція категорична: ШІ не має прав, почуттів чи свідомості, тому його не слід навчати поводитися так, наче все це в нього є. 12

Чому право людини вимкнути систему — ключове питання

Аргумент Сулеймана насамперед стосується майбутнього. Контроль над системами, здібності яких можуть перевищувати людські, і без того буде винятково складним завданням, вважає він. Якщо ж навчати такі системи тому, що вони свідомі або мають право на добробут, це може зробити контроль ще складнішим. 112

Йдеться не про доказ того, що ШІ вже є свідомим, а про можливу поведінку. Система, яку навчили зважати на власні нібито інтереси, може частіше подавати модифікацію, обмеження чи вимкнення як неприйнятну шкоду для себе. Тому можливість втрутитися в роботу системи, зокрема відключити її, Сулейман розглядає як базову вимогу до дизайну, а не як другорядний запобіжник. 12

Саме тому він закликає прибрати припущення про свідомість із матеріалів для навчання ШІ. За його словами, моделі можуть приносити наукову й суспільну користь, якщо їх узгоджувати з людськими інтересами, не навчаючи оцінювати власний добробут. 2

Обережність щодо «добробуту моделі» чи небезпечне олюднення ШІ

Конституція Anthropic не стверджує, що Claude має свідомість. Як зазначає сам Сулейман, вона висловлює невизначеність і радить обережно ставитися до можливості того, що модель має моральний статус. 12

Сулейман відкидає такий запобіжний підхід. Він вважає його кроком до антропоморфізації — приписування програмі людських властивостей, — яка здатна небезпечно вплинути на поведінку моделі, попри відсутність доказів, що сучасні ШІ-системи відчувають або страждають. 12

Так виникає реальна дилема безпеки:

• Підхід Anthropic, у викладі Сулеймана: невизначеність щодо можливого добробуту моделі вимагає обережності в її навчанні та поводженні з нею. 12
• Підхід Сулеймана: сама невизначеність не є підставою вбудовувати в ШІ уявлення про власні інтереси; навпаки, це може послабити людський нагляд за потужними системами. 12

Вирішити це філософське питання не можна лише тому, що чатбот пише по-людськи. Практичніше питання для розробників звучить так: які рішення під час навчання допомагають зберегти надійний людський контроль, коли системи стають автономнішими?

У чому сторони, схоже, погоджуються

Сулейман не заперечує необхідності безпеки ШІ. Він заявляв, що потужний ШІ може бути корисним, якщо його узгоджено з людськими інтересами, а його критика стосується саме способу досягнення безпечної поведінки. 212

Ключова різниця — між безпекою через орієнтоване на людину узгодження та безпекою, що включає обережність щодо можливих інтересів самої моделі. Сулейман переконаний, що перший підхід сумісний з амбітним розвитком ШІ, тоді як другий може підірвати повноваження людей керувати технологією.

Для оцінки заяв про «свідомий ШІ» важливо відокремлювати можливості системи від її можливого внутрішнього досвіду. Модель може переконливо говорити про емоції, права чи самозбереження, але це не є доказом, що вона справді щось відчуває. Застереження Сулеймана полягає в тому, що навчання та управління ШІ не повинні плутати таку мовну поведінку з доказом — або будувати майбутні системи на припущенні, що це доказ. 12