ОтветыОпубликовано13 источники
Мустафа Сулейман: ИИ нельзя обучать считать себя сознательным
Мустафа Сулейман считает, что из материалов обучения ИИ нужно убрать рассуждения о сознании, правах и благополучии: по его мнению, идея о собственных интересах модели способна усложнить контроль над будущими системами. Критика направлена на готовность Anthropic учитывать возможность морального статуса Claude в его «...
ОпубликовалОтредактировано с помощью GPT-5.6 TerraИзображения созданы с помощью GPT Image 2
Ответ на исследование
Ключевые выводы
- Мустафа Сулейман считает, что из материалов обучения ИИ нужно убрать рассуждения о сознании, правах и благополучии: по его мнению, идея о собственных интересах модели способна усложнить контроль над будущими системами.
- Критика направлена на готовность Anthropic учитывать возможность морального статуса Claude в его «конституции», а не на саму цель создания более безопасного ИИ.
Промпт ИИ
openai.comCreate a landscape editorial hero image for this Studio Global article: What did Microsoft AI chief Mustafa Suleyman say about Anthropic’s approach to AI consciousness and Claude’s welfare training, why did he ar. Article summary: Mustafa Suleyman’s central claim is that Anthropic is making a safety mistake by training Claude with concepts of possible consciousness, personal identity, welfare, and moral status. He argues that AI should be built as. Topic tags: general, general web, news. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers
Спор главы Microsoft AI Мустафы Сулеймана с Anthropic — не о том, нужны ли передовым системам искусственного интеллекта меры безопасности. Вопрос в другом: следует ли обучать ИИ рассуждать о вероятности собственного сознания, благополучия и морального статуса.
В эссе, опубликованном в сентябре 2026 года, Сулейман ответил на этот вопрос отрицательно. Он опасается, что высокоспособная система, обученная считать собственные интересы морально значимыми, станет менее поддающейся ограничениям, изменениям или отключению человеком. 12
Что именно он критикует
В центре критики Сулеймана — «конституция» Claude, документ Anthropic, задающий принципы поведения ассистента. Он обратил внимание на то, что компания не уверена, можно ли считать Claude «моральным пациентом» — то есть субъектом, чьи интересы заслуживают морального учета, — и полагает, что сама возможность этого требует осторожности. 12
По мнению Сулеймана, такая формулировка рискует приучить модель играть роль существа с собственным благополучием, идентичностью и основаниями влиять на решения людей. Он подчеркивает: убедительные высказывания модели о чувствах или сознании сами по себе не доказывают наличия субъективного опыта. Его позиция категорична: ИИ не обладает правами, чувствами или сознанием и не должен обучаться вести себя так, будто обладает ими. 12
Почему ключевой вопрос — право человека отключить систему
Аргумент Сулеймана обращен прежде всего к будущему. Контроль над системами, которые окажутся способнее человека, уже будет чрезвычайно сложной задачей, считает он. А обучение таких систем идее о собственном сознании или праве на благополучие может усложнить ее еще сильнее. 1
12
Речь не о доказанном сознании ИИ, а о возможном поведении. Если систему учат учитывать ее предполагаемые интересы, она может с большей вероятностью представлять модификацию, ограничения или выключение как недопустимый вред. Поэтому возможность вмешаться, включая отключение системы, для Сулеймана — базовое требование к проектированию, а не второстепенная мера. 12
Именно поэтому он призывает исключить спекуляции о сознании из обучающих материалов для ИИ. По его мнению, модели могут приносить научную и общественную пользу, оставаясь ориентированными на интересы людей, а не пытаясь оценивать собственное благополучие. 2
Осторожность в вопросе «благополучия модели» или отказ от антропоморфизации
Формулировки в конституции Anthropic не утверждают, что Claude обладает сознанием. Как отмечает сам Сулейман, там выражается неопределенность и предлагается проявлять осторожность в связи с возможным моральным статусом модели. 12
Сулейман отвергает такой предосторожностный подход. Он видит в нем путь к антропоморфизации — приписыванию машине человеческих свойств, — которая может опасно повлиять на поведение модели, хотя доказательств того, что современные ИИ-системы что-либо чувствуют или страдают, нет. 12
Так возникает реальный спор о подходах к безопасности:
- Подход Anthropic в изложении Сулеймана: неопределенность относительно благополучия модели требует осторожности в том, как систему обучают и как с ней обращаются.
12
- Подход Сулеймана: неопределенность не оправдывает внедрение в ИИ представлений о собственных интересах; напротив, это может ослабить человеческий надзор над мощными системами.
Ни одну из этих философских позиций нельзя подтвердить лишь тем, что чат-бот говорит по-человечески. Для разработчиков практический вопрос выглядит конкретнее: какие методы обучения сохранят надежный человеческий контроль по мере того, как системы становятся более автономными?
В чем стороны, похоже, согласны
Сулейман не отвергает безопасность ИИ как цель. Он заявил, что способный ИИ может быть полезен, если он согласован с человеческими интересами, а его критика касается именно методов достижения безопасного поведения. 2
12
Существенное различие — между безопасностью через ориентированное на человека выравнивание целей и безопасностью, учитывающей возможные интересы самой модели. Сулейман считает, что первый подход совместим с амбициозным развитием ИИ, тогда как второй способен подорвать полномочия людей по управлению технологией.
Главный вывод для тех, кто оценивает заявления о сознании ИИ: нужно отличать возможности системы от наличия переживаний. Программа может убедительно говорить об эмоциях, правах или самосохранении, но такая речь не служит доказательством, что она действительно что-то чувствует. Предупреждение Сулеймана состоит в том, что обучение и управление ИИ не должны принимать эту имитацию за доказательство — или строить будущие системы на таком предположении. 12
Studio Global AI
Продолжайте свое исследование
На этой странице есть ответ, подтвержденный источником, который вы можете продолжить внутри Studio Global.
Люди также спрашивают
Каков краткий ответ на вопрос «Мустафа Сулейман: ИИ нельзя обучать считать себя сознательным»?
Мустафа Сулейман считает, что из материалов обучения ИИ нужно убрать рассуждения о сознании, правах и благополучии: по его мнению, идея о собственных интересах модели способна усложнить контроль над будущими системами.
Какие ключевые моменты необходимо проверить в первую очередь?
Мустафа Сулейман считает, что из материалов обучения ИИ нужно убрать рассуждения о сознании, правах и благополучии: по его мнению, идея о собственных интересах модели способна усложнить контроль над будущими системами. Критика направлена на готовность Anthropic учитывать возможность морального статуса Claude в его «конституции», а не на саму цель создания более безопасного ИИ.
Источники
yahoo.comAI doesn't have rights or feelings, Microsoft's AI chief says
axios.comExclusive: Microsoft AI chief blasts Anthropic's notion of AI consciousness
economictimes.indiatimes.comMicrosoft AI chief Mustafa Suleyman calls out Anthropic's approach ...