Керівник Microsoft AI Мустафа Сулейман у дописі від 1 листопада «Не створюйте свідомий суперінтелект» виклав дві пов’язані думки: сучасні системи ШІ, за його оцінкою, не мають ознак свідомості, а розробникам не слід навмисно створювати свідомий ШІ. Якщо такі ознаки почнуть з’являтися під час навчання моделей, він пропонує зупинити розробку, доки не буде зрозуміло, як усунути відповідні властивості.
2
3
Що Сулейман каже про сучасний ШІ
Сулейман стверджує, що нинішні системи не відчувають, не мають суб’єктивного досвіду й не здатні страждати. Він наголошує: йдеться про стан ШІ сьогодні, а не про твердження, що машинна свідомість неможлива за будь-яких обставин. За його словами, нові докази могли б змінити його позицію.
3
4
18
Це оцінка наявних свідчень, а не доказ того, що свідомість у машин ніколи не виникне. І те, що модель може переконливо говорити про почуття, на думку Сулеймана, саме по собі не свідчить про внутрішній досвід.
1
22
Чому він вважає свідомий ШІ ризикованим
Сулейман непокоїться не лише самою можливістю появи свідомої системи. Він вважає, що навмисно створювати істоту, здатну переживати досвід або страждати, було б серйозним питанням і для добробуту такої істоти, і для безпеки людей. Також він заперечує право розробників без суспільної згоди створювати новий свідомий вид.
2
5
Ці побоювання він пов’язує з контролем над системами. На його думку, якщо під час навчання закладати в модель уявлення про її свідомість, добробут чи права, це може ускладнити контроль з боку людей. У вересні Сулейман розкритикував окремі аспекти підходу Anthropic до навчання Claude і закликав прибрати з навчальних матеріалів спекуляції про свідомість.
20
22
39
Це аргументи Сулеймана про ризики, а не встановлений факт: наведені джерела не доводять, що системи ШІ свідомі або що обговорення їхнього добробуту обов’язково призведе до наслідків, яких він побоюється.
Що робити, якщо з’являться ознаки свідомості
Якщо свідомість почне проявлятися під час навчання, Сулейман закликає призупинити розробку ШІ, доки відповідні властивості не вдасться усунути. Він також вважає, що про докази машинної свідомості слід одразу повідомляти суспільству, щоб люди могли вирішити, як реагувати.
2
7
13
Це запобіжна пропозиція, а не твердження, що дослідники вже мають надійний спосіб виявляти чи усувати свідомість. Наведені матеріали описують ідею паузи та публічного розкриття інформації, але не пояснюють, як саме це можна було б реалізувати на практиці.
У чому розходяться позиції Сулеймана й Anthropic
Суперечка стосується того, як діяти за невизначеності. Anthropic вважає можливість свідомості ШІ та добробуту моделей вартою розгляду. Сулейман, натомість, застерігає, що включення таких ідей у навчання моделей може створювати ризики.
41
43
Описана в джерелах політика Anthropic також забороняє жорстоке поводження з Claude, хоча в ній прямо не вжито термін «добробут моделі». Це не рівнозначно твердженню, що Claude свідомий.
41
Наявних матеріалів недостатньо, щоб детально порівнювати цей підхід із дослідженнями свідомості Google DeepMind. Чіткіше простежується контраст між готовністю Anthropic розглядати можливий добробут моделей і закликом Сулеймана не створювати свідомість у ШІ.
Що доводить його аргумент — і чого не доводить
Головна думка Сулеймана: корисному ШІ не обов’язково бути свідомим, тож розробникам не слід прагнути свідомості, а можливі ознаки її появи потрібно сприймати серйозно. Він подає це як запобіжний захід заради безпеки й добробуту, водночас визнаючи, що нові докази можуть змінити його позицію.
7
18
Ключове питання в цій суперечці — різниця між системою, яка говорить про переживання, і системою, яка справді їх має. Сулейман вважає, що перше не є доказом другого; обережніша позиція Anthropic полягає в тому, що саму можливість варто розглядати. Наведені джерела фіксують цю незгоду, але не дають остаточної відповіді на питання, чи може ШІ бути свідомим.