Глава Microsoft AI Мустафа Сулейман в публикации от 1 ноября под названием «Не создавайте сознательный сверхинтеллект» сформулировал два связанных тезиса: нынешние ИИ-системы, по его оценке, не демонстрируют признаков сознания, а разработчикам не следует намеренно создавать сознательный ИИ. Если такие признаки начнут проявляться во время обучения, он призывает остановить разработку, пока не удастся устранить соответствующие свойства.
2
3
Что Сулейман говорит о нынешних моделях
Сулейман утверждает, что современные системы не чувствуют, не обладают субъективным опытом и не способны страдать. При этом он подчёркивает: речь идёт о нынешнем состоянии ИИ, а не о доказательстве того, что машинное сознание невозможно в принципе. Если появятся новые свидетельства, он готов пересмотреть свою позицию.
3
4
18
Для него принципиально различие между разговором о чувствах и самими чувствами. Модель может убедительно описывать боль или переживания, но, по мнению Сулеймана, одних таких ответов недостаточно, чтобы считать их доказательством внутреннего опыта.
1
22
Почему он считает создание сознательного ИИ рискованным
Опасение Сулеймана связано не только с тем, возможно ли машинное сознание. Он считает, что намеренно создавать систему, способную переживать опыт или страдание, было бы безрассудно: это подняло бы вопросы о её благополучии и безопасности людей. По его мнению, разработчики также не вправе без согласия общества создавать новый вид сознательных существ.
2
5
Отдельный риск он видит в контроле над ИИ. Сулейман предупреждает: если во время обучения система начнёт воспринимать сознание, благополучие или права как часть собственного образа, удерживать её под контролем человека может стать сложнее. В сентябре он уже критиковал некоторые подходы Anthropic к обучению модели Claude и призывал убрать из учебных материалов рассуждения о возможном сознании ИИ.
20
22
39
Это аргументы Сулеймана о рисках, а не доказательство того, что ИИ уже обладает сознанием или что обсуждение благополучия моделей обязательно приведёт к последствиям, которых он опасается.
Что он предлагает делать, если появятся признаки сознания
Сулейман заявил, что в случае появления таких признаков во время обучения призвал бы остановить разработку ИИ — до тех пор, пока соответствующие свойства не удастся устранить. Он также выступает за оперативное раскрытие свидетельств машинного сознания, чтобы общество могло решить, как на них реагировать.
2
7
13
Это предложение из предосторожности, а не утверждение, что у исследователей уже есть надёжный способ обнаружить или «убрать» сознание. Приведённые публикации описывают призыв к паузе и раскрытию данных, но не объясняют, как именно эти меры можно было бы реализовать.
В чём разногласие с Anthropic
В основе спора — разные подходы к неопределённости. Anthropic допускает возможность сознания у ИИ и считает вопрос о благополучии моделей достойным внимания. Сулейман, напротив, полагает, что включение подобных идей в обучение может создавать риски.
41
43
Согласно сообщениям о политике Anthropic, компания также ограничивает жестокое обращение с Claude. При этом в описании этой политики прямо не используется термин «благополучие модели». Такая позиция не означает, что компания утверждает, будто Claude обладает сознанием.
41
Где проходит граница между убедительной речью и опытом
Основная мысль Сулеймана: полезному ИИ не обязательно быть сознательным. Поэтому, по его мнению, разработчикам не следует добиваться сознания, а любые возможные признаки его появления нужно воспринимать серьёзно. Он представляет эту позицию как меру предосторожности ради безопасности и благополучия людей, но признаёт, что новые данные могут изменить его взгляд.
7
18
Именно различие между словами о переживаниях и самими переживаниями остаётся центральным в споре. Сулейман считает первое недостаточным доказательством второго; Anthropic придерживается более открытой позиции и полагает, что саму возможность стоит учитывать. Доступные публикации фиксируют это разногласие, но не дают окончательного ответа на вопрос, может ли ИИ обладать сознанием.