Эндрю Ын не утверждает, что искусственный интеллект безопасен сам по себе. Его главный тезис в другом: прогнозы о скором вымирании человечества из-за ИИ слишком спекулятивны, чтобы именно они определяли политику и правила для отрасли. В интервью Bloomberg TV 17 сентября сооснователь Google Brain назвал такие опасения «скорее научной фантастикой, чем наукой» и предложил относиться к безопасности ИИ как к инженерной задаче: тестировать системы, внедрять защитные механизмы и последовательно улучшать их.
2
Почему Ын не считает сценарий вымирания главным ориентиром
По словам Ына, поведение ИИ-систем никогда не будет полностью предсказуемым. Но сама по себе эта непредсказуемость, считает он, не доказывает необходимость остановить или широко замедлить разработку. Безопасность можно повышать с помощью испытаний, технических ограничений и инженерной работы. Более того, общее замедление развития ИИ способно затормозить и прогресс в области безопасности.
2
Ын также предупредил, что риторика о неизбежной катастрофе может мешать обществу получить максимум пользы от технологии. Он заявил, что в начале нынешнего ИИ-бума технологическая индустрия уже подогревала страхи перед катастрофическими последствиями — по-видимому, ради внимания к себе и влияния на регулирование.
1
Это не призыв отказаться от мер безопасности. Ын возражает против того, чтобы представлять гипотезу о вымирании как установленный научный факт или как основание для всеобъемлющей паузы.
На каких рисках он предлагает сосредоточиться
Альтернатива Ына — снижение конкретных, наблюдаемых рисков. В материалах об интервью среди приоритетов названы кибербезопасность и другие практические меры защиты.
5
Такой подход включает:
- строгое тестирование до внедрения системы и во время её использования;
- защитные ограничения и барьеры, снижающие известные риски сбоев;
- итеративную инженерную работу — исправление проблем по мере их обнаружения;
- работу с предсказуемым вредом, включая киберугрозы, вместо концентрации политики исключительно на сценариях вымирания.
2
5
Этот подход не обещает абсолютного контроля над ИИ. Он исходит из того, что технологии можно сделать достаточно надёжными через непрерывную проверку и доработку — как это происходит в других инженерных сферах.
В чём расхождение со сторонниками замедления
Другие заметные фигуры в сфере ИИ тоже говорят о безопасности, но делают из этого более жёсткий вывод: развитие наиболее мощных, или «передовых», моделей стоит сознательно замедлить.
Джейкоб Коксон: риск настолько высок, что нужно сбавить темп
Бывший исследователь Anthropic и OpenAI Джейкоб Коксон ушёл из Anthropic и предупреждал, что быстрое движение к самосовершенствующимся системам может иметь катастрофические последствия. Он выступил за замедление и позже поддержал предложение Anthropic более осторожно задавать темп развития.
33
43
Дарио Амодеи: выиграть время для защитных мер
Глава Anthropic Дарио Амодеи призвал компании снизить скорость, с которой они наращивают возможности ИИ-моделей. Цель, по его словам, — получить больше времени для управления рисками, в том числе с участием независимых оценщиков.
18
Сэм Альтман: поддержка осторожного темпа на переднем крае
Гендиректор OpenAI Сэм Альтман поддержал основную идею предложения Амодеи и пообещал, что OpenAI внедрит одну из его мер: предоставит внешним оценщикам содержательный доступ для проверки практик безопасности.
19
24
Джеффри Хинтон: опасение утраты контроля
Джеффри Хинтон говорил о «значительном риске» того, что ИИ может выйти из-под человеческого контроля. Он поддержал замедление, а также меры вроде тестирования до выпуска новых систем, указывая, что правительства действуют слишком медленно.
20
Практический спор, таким образом, идёт и о вероятности угроз, и о политическом ответе на них. Коксон, Амодеи, Альтман и Хинтон считают риск утраты контроля достаточно правдоподобным, чтобы сознательно ограничить темп развития самых мощных систем. Ын же считает сценарии вымирания недостаточно обоснованными и предлагает сосредоточить безопасность на конкретных, решаемых сбоях и угрозах.
2
18
20
Почему Ын не полностью совпадает с другими противниками замедления
Несогласие Ына с широким замедлением не означает, что он разделяет все аргументы политиков и руководителей компаний, также выступающих против него.
- Дженсен Хуанг: глава Nvidia заявил, что отрасли не нужны новые законы или нормы регулирования.
53
- Марк Цукерберг: глава Meta считает общеотраслевое замедление ненужным, поскольку конкуренция и рыночные стимулы будут побуждать компании делать модели безопаснее.
55
- Президент Дональд Трамп: Трамп назвал опасения по поводу вышедшего из-под контроля ИИ «мистификацией» и заявил, что у США уже есть инструменты для регулирования и преследования ИИ-компаний.
49
50
- Китайские власти: представитель МИД Китая выступил против призывов замедлить разработку передового ИИ.
52
Итоговый вывод у этих позиций похож — против широкого моратория или замедления. Но основания различаются. Аргумент Ына прежде всего технический: измерять реальный вред и строить более надёжные механизмы контроля. Хуанг, Цукерберг, Трамп и китайские власти в разной степени делают акцент на неприятии новых ограничений, рыночных стимулах, конкуренции и государственной стратегии.
2
50
52
53
55
Точка соприкосновения: кибербезопасность
Этот спор не сводится к делению на тех, кто заботится о безопасности, и тех, кто ею пренебрегает. Например, глава Cohere Айдан Гомес заявил, что ИИ-модели стали мощным кибероружием, поскольку способны в большом масштабе находить и использовать уязвимости.
62 Эта тревога близка к призыву Ына заниматься конкретными киберрисками, хотя доступные материалы не позволяют уверенно судить о полной позиции Гомеса по поводу общеотраслевого замедления или международного управления ИИ.
Также имеющихся источников недостаточно, чтобы надёжно охарактеризовать позицию инвестора Стива Айсмана по вопросам замедления разработок, исследований безопасности, регулирования и международного управления ИИ.
Главное
Ын предлагает по-другому поставить вопрос в дискуссии о безопасности ИИ. Вопрос не в том, нужно ли делать ИИ безопаснее, а в том, должны ли спекулятивные сценарии вымирания задавать всю повестку. Его ответ — нет: приоритетом должны быть тестирование, защитные механизмы и инженерные решения для уже понятных угроз, а не всеобщее замедление, которое, по его мнению, может затормозить и инновации, и саму работу над безопасностью.
1
2