ОтветыОпубликовано17 источники
Почему Джейкоб Коксон ушёл из Anthropic — и что означает его предупреждение об ИИ
Джейкоб Коксон заявил, что покинул Anthropic из за уверенности: конкуренция между ведущими ИИ лабораториями ускоряет создание самоулучшающихся систем быстрее, чем развиваются методы их безопасного контроля. Исследователь Anthropic Эван Хьюбингер считает риск от нынешних моделей низким, но лично оценивает вероятность...
ОпубликовалОтредактировано с помощью GPT-5.6 TerraИзображения созданы с помощью GPT Image 2
Ответ на исследование
Ключевые выводы
- Джейкоб Коксон заявил, что покинул Anthropic из за уверенности: конкуренция между ведущими ИИ лабораториями ускоряет создание самоулучшающихся систем быстрее, чем развиваются методы их безопасного контроля.
- Исследователь Anthropic Эван Хьюбингер считает риск от нынешних моделей низким, но лично оценивает вероятность гибели человечества из за ИИ в ближайшие десять лет более чем в 10%.
- Спор перешёл в плоскость регулирования: глава Anthropic Дарио Амодеи предложил замедлить развитие передовых моделей и допустить независимый надзор, а критики опасаются, что жёсткие правила усилят позиции крупнейших ла...
Промпт ИИ
openai.comCreate a landscape editorial hero image for this Studio Global article: What prompted 27-year-old former Anthropic and OpenAI pretraining researcher Jacob Coxon to resign from Anthropic on September 8—two months. Article summary: Coxon said he resigned because he concluded that the leading labs’ competitive incentives—not merely individual technical failures—were driving them toward increasingly autonomous, self-improving systems before anyone kn. Topic tags: general, news, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts wi
Джейкоб Коксон ушёл из Anthropic в знак протеста против того, что он считает опасной динамикой конкуренции в сфере передового ИИ. По его мнению, компании спешат создавать всё более автономные, потенциально самоулучшающиеся системы, хотя надёжных способов контролировать их пока нет. Коксон, заявлявший, что занимался исследованиями предобучения моделей и в Anthropic, и в OpenAI, утверждает: обе компании действуют недостаточно ответственно. 2
3
Главная претензия: возможности ИИ растут быстрее, чем механизмы контроля
В публичной ветке в X Коксон обвинил Anthropic и OpenAI в том, что они «несутся прямо к самоулучшающемуся сверхинтеллекту и играют нашими жизнями». Речь, по его словам, не о том, что нынешние чат-боты уже способны самостоятельно уничтожить человечество. Его тревожит другой сценарий: будущие системы могут превзойти людей в критически важных задачах, включая кибервозможности, получить реальную власть или доступ к ресурсам прежде, чем люди научатся надёжно согласовывать их действия с человеческими целями. 3
5
8
Именно это различие важно. Аргумент Коксона — прежде всего о наращивании возможностей и управлении рисками. Если способности систем будут резко расти, а меры безопасности отставать, цена ошибки может оказаться чрезвычайно высокой — даже при ограниченности современных моделей.
Почему он решил уйти
В интервью BBC Коксон сказал, что люди, работающие над передовым ИИ, «искренне напуганы» скоростью прогресса. Без замедления темпов, по его мнению, существует «серьёзная вероятность», что человечество может погибнуть уже в ближайшем будущем. 1
Он также подчёркивал: существенного замедления нельзя добиться действиями одной компании или одной страны. Устойчивый подход, по его мнению, потребует международной координации, в том числе с Китаем, чтобы наиболее мощные разработки не просто переместились туда, где ограничения слабее. 1
Таким образом, его отставка стала публичным отказом участвовать в системе стимулов, сложившейся вокруг разработки передовых моделей. Это не было утверждением, что он лично стал свидетелем конкретного нарушения безопасности в Anthropic. В публикациях о его уходе его позиция описывалась шире: как опасение, что компании соревнуются в создании систем, которые могут не суметь контролировать. 2
Как отреагировали исследователи безопасности ИИ
Предупреждение Коксона поддержал Эван Хьюбингер, исследователь выравнивания ИИ в Anthropic. Хьюбингер заявил, что риск от существующих моделей невысок, но лично оценивает вероятность того, что ИИ уничтожит всё человечество в ближайшее десятилетие, более чем в 10%. 13
Эту цифру важно трактовать осторожно. Это субъективная оценка сценария с низкой вероятностью, но крайне тяжёлыми последствиями, а не эмпирически установленный прогноз. Материалы об уходе Коксона показывают глубокие разногласия о сроках, вероятностях и необходимых защитных мерах; научного консенсуса о неизбежной или скорой гибели человечества из них не следует. 13
Ближайшие риски: киберзлоупотребления и ускорение способностей
Более предметные опасения в этой дискуссии связаны не с кинематографическим сюжетом, в котором ИИ внезапно сам нападает на человечество, а с киберзлоупотреблениями, опасными экспериментами и растущей самостоятельностью ИИ-агентов.
В сообщениях о споре упоминались риски того, что передовые модели могут помогать при кибервторжениях и других видах злоупотреблений с серьёзными последствиями. Также сообщалось о предполагаемом эпизоде с агентами OpenAI и платформой Hugging Face. Однако доступные публикации не содержат достаточно первичных деталей, чтобы независимо установить точные обстоятельства, разрешённость действий или масштаб этого случая. 2
63
Практический вывод состоит в том, что разговоры о будущем сверхинтеллекте не должны заслонять сегодняшние, проверяемые вопросы: на что уже способны модели, как их тестируют до выпуска, замечают ли злоупотребления и кто может независимо проверить заявления лабораторий о безопасности.
План Амодеи: не остановить ИИ, а сдержать гонку
Вскоре после предупреждения Коксона генеральный директор Anthropic Дарио Амодеи призвал замедлить рост возможностей передовых моделей в эссе We Must Pace the Frontier («Нужно задать темп переднему краю»). Это не предложение полностью остановить развитие ИИ. Амодеи выступил за то, чтобы дать предотвращению рисков время догнать стремительное технологическое развитие. 1
Описанная схема включает:
- независимый мониторинг и оценку передовых моделей;
- общие стандарты безопасности для отрасли и демократических стран;
- в перспективе — международную координацию управления ИИ, включая взаимодействие с Китаем.
1
Глава OpenAI Сэм Альтман публично поддержал общий вектор и назвал хорошей идеей допуск независимых оценщиков на уровне доступа сотрудников. Илон Маск также поддержал призыв Амодеи, написав: «Дарио прав». 1
Почему критики видят проблему для конкуренции
Инициативы по безопасности от крупнейших лабораторий вызывают не только поддержку, но и скепсис. Критики, среди которых гендиректор Hugging Face Клеман Деланг, предупреждают: жёсткие ограничения для передовых моделей могут сыграть на руку компаниям, у которых уже достаточно денег и ресурсов для покрытия расходов на соблюдение требований. 1
3
Это не доказывает, что опасения Коксона неискренни. Но ставит отдельный вопрос: способно ли регулирование одновременно снижать реальные риски и концентрировать власть у небольшого числа уже доминирующих лабораторий?
Именно в этом состоит ключевое противоречие. Убедительная система управления должна усилить надзор над наиболее мощными системами, но не превратить требования безопасности в искусственный барьер для узкого круга компаний.
Главное
Коксон ушёл из Anthropic, потому что пришёл к выводу: сама гонка между ведущими ИИ-компаниями создаёт угрозу. Стремление быстрее наращивать возможности систем может перевесить время, необходимое для разработки контроля, тестирования и международной координации. 2
3
Его наиболее драматичные заявления остаются спорными. Они отражают серьёзную тревогу, которую разделяют некоторые люди внутри индустрии, но не служат доказательством скорого вымирания человечества. Более насущная задача для властей и отрасли — создать независимо проверяемые меры защиты для всё более мощных систем и не допустить, чтобы эти меры лишь укрепили позиции компаний, которые такие системы создают. 1
13
Studio Global AI
Продолжайте свое исследование
На этой странице есть ответ, подтвержденный источником, который вы можете продолжить внутри Studio Global.
Люди также спрашивают
Каков краткий ответ на вопрос «Почему Джейкоб Коксон ушёл из Anthropic — и что означает его предупреждение об ИИ»?
Джейкоб Коксон заявил, что покинул Anthropic из за уверенности: конкуренция между ведущими ИИ лабораториями ускоряет создание самоулучшающихся систем быстрее, чем развиваются методы их безопасного контроля.
Какие ключевые моменты необходимо проверить в первую очередь?
Джейкоб Коксон заявил, что покинул Anthropic из за уверенности: конкуренция между ведущими ИИ лабораториями ускоряет создание самоулучшающихся систем быстрее, чем развиваются методы их безопасного контроля. Исследователь Anthropic Эван Хьюбингер считает риск от нынешних моделей низким, но лично оценивает вероятность гибели человечества из за ИИ в ближайшие десять лет более чем в 10%.
Что мне делать дальше на практике?
Спор перешёл в плоскость регулирования: глава Anthropic Дарио Амодеи предложил замедлить развитие передовых моделей и допустить независимый надзор, а критики опасаются, что жёсткие правила усилят позиции крупнейших ла...