AnswersPublished17 sources
Чому Джейкоб Коксон пішов з Anthropic і про що попереджає його заява щодо ШІ
Джейкоб Коксон заявив, що пішов з Anthropic через переконання: конкуренція між лабораторіями передового ШІ прискорює рух до систем, здатних самовдосконалюватися, швидше, ніж розвиваються методи безпеки та контролю. Дослідник Anthropic Еван Губінгер вважає поточний ризик від наявних моделей низьким, але особисто оцін...
ОпублікувавВідредаговано за допомогою GPT-5.6 TerraЗображення створено за допомогою GPT Image 2
Research answer
Key takeaways
- Джейкоб Коксон заявив, що пішов з Anthropic через переконання: конкуренція між лабораторіями передового ШІ прискорює рух до систем, здатних самовдосконалюватися, швидше, ніж розвиваються методи безпеки та контролю.
- Дослідник Anthropic Еван Губінгер вважає поточний ризик від наявних моделей низьким, але особисто оцінює імовірність загибелі людства через ШІ протягом десятиліття більш ніж у 10%.
- Дискусія перетворилася на суперечку про правила: Дарио Амодеї закликав уповільнити нарощування можливостей передових моделей і запровадити незалежний нагляд, тоді як критики остерігаються, що жорсткі вимоги зміцнять н...
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What prompted 27-year-old former Anthropic and OpenAI pretraining researcher Jacob Coxon to resign from Anthropic on September 8—two months. Article summary: Coxon said he resigned because he concluded that the leading labs’ competitive incentives—not merely individual technical failures—were driving them toward increasingly autonomous, self-improving systems before anyone kn. Topic tags: general, news, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts wi
Джейкоб Коксон залишив Anthropic на знак протесту проти того, що він вважає небезпечною динамікою конкуренції у сфері передового ШІ. На його думку, компанії поспішають створювати дедалі автономніші системи, які потенційно можуть самовдосконалюватися, хоча надійних способів контролю над ними ще немає. Коксон, який повідомив, що займався дослідженнями переднавчання моделей і в Anthropic, і в OpenAI, стверджує: жодна з компаній не діє достатньо відповідально. 2
3
Головне звинувачення: змагання випереджає контроль
У публічному треді в X Коксон звинуватив Anthropic та OpenAI в тому, що вони «прямують до самовдосконалюваного надінтелекту й граються нашими життями». Його тривога не полягає в тому, що нинішні чат-боти ось-ось самостійно знищать людство. Він попереджає про майбутні системи, здатні перевершувати людей у критично важливих завданнях — зокрема в кіберсфері, — отримувати реальні ресурси або вплив ще до того, як люди навчаться надійно узгоджувати їхню поведінку з людськими цілями. 3
5
8
Це важливе розрізнення. Аргумент Коксона насамперед стосується стрімкого зростання можливостей і управління ризиками: якщо моделі розвиватимуться швидше, ніж інструменти безпеки, наслідки потенційної помилки можуть бути дуже тяжкими — навіть за нинішніх обмежень моделей.
Чому він вирішив піти
В інтерв’ю BBC Коксон сказав, що працівники, які створюють передовий ШІ, «щиро налякані» темпом прогресу. За його словами, якщо нинішню швидкість розвитку не знизити, існує «значний шанс», що людство може загинути вже в близькому майбутньому. 1
Він також наголосив: реальне уповільнення не може бути рішенням однієї компанії чи однієї країни. На його думку, потрібна міжнародна координація, зокрема із Китаєм, інакше обережніший підхід лише перенесе найпотужніші розробки в інші юрисдикції. 1
Отже, відставка Коксона була публічною відмовою брати участь у системі стимулів навколо передових моделей, а не твердженням, що він особисто став свідком конкретного порушення безпеки в Anthropic. У матеріалах про його відхід ішлося про ширшу тривогу: лабораторії змагаються за створення систем, які можуть не зуміти контролювати. 2
Як відреагували інші дослідники безпеки ШІ
Коксона підтримав Еван Губінгер, дослідник узгодження ШІ в Anthropic. Він зазначив, що ризик від уже наявних моделей низький, однак особисто оцінює ймовірність того, що ШІ знищить усіх людей упродовж наступного десятиліття, у понад 10%. 13
Цю цифру варто читати обережно. Це суб’єктивна оцінка сценарію з малою ймовірністю, але надзвичайно тяжкими наслідками, а не емпірично підтверджений прогноз. Висвітлення відставки Коксона демонструє глибокі розбіжності щодо строків, імовірностей і потрібних запобіжників; воно не свідчить про науковий консенсус, що вимирання людства є неминучим. 13
Найближчі ризики: кіберзловживання та прискорення можливостей
Більш конкретні побоювання в цій дискусії стосуються кіберзловживань, небезпечних експериментів і дедалі спроможніших автономних агентів, а не голлівудського сценарію, в якому ШІ раптово сам атакує людство.
У повідомленнях про дебати згадували, що передові моделі можуть допомагати з кіберпроникненням та іншими видами небезпечного використання. Також ішлося про нібито інцидент за участю агентів OpenAI і платформи Hugging Face. Водночас доступні матеріали не містять достатньо первинних даних, щоб незалежно встановити точні обставини, дозвіл або масштаб цього епізоду. 2
63
Практичний висновок: заяви про майбутній надінтелект не мають відволікати від питань, які можна перевіряти вже зараз. Що саме вміють моделі? Як їх оцінюють перед випуском? Чи виявляють зловживання? І хто може незалежно перевірити твердження лабораторій про безпеку?
Пропозиція Амодеї: не зупинити ШІ, а сповільнити гонку на передньому краї
Невдовзі після попередження Коксона генеральний директор Anthropic Дарио Амодеї у есе We Must Pace the Frontier закликав повільніше нарощувати можливості передових моделей. Це не була вимога повністю зупинити розробку ШІ: ідея полягає в тому, щоб дати запобіганню ризикам час наздогнати технологічний прогрес. 1
Запропонована рамка передбачає:
- незалежний моніторинг та оцінювання передових моделей;
- спільні стандарти безпеки для індустрії та демократичних держав;
- у перспективі — міжнародну координацію управління ШІ, включно з взаємодією з Китаєм.
1
Генеральний директор OpenAI Сем Альтман публічно підтримав загальний напрям і назвав доброю ідеєю залучення незалежних оцінювачів із рівнем доступу, близьким до працівників компанії. Ілон Маск також підтримав заклик Амодеї, написавши: «Dario is right». 1
Чому критики бачать тут проблему для конкуренції
Ініціативи з безпеки від найбільших лабораторій передового ШІ викликають не лише схвалення, а й скепсис. Критики, серед них генеральний директор Hugging Face Клеман Деланг, застерігають: суворі обмеження для передових моделей можуть зіграти на руку компаніям, які вже мають найбільші фінансові ресурси для виконання дорогих вимог. 1
3
Ця критика не доводить нещирість побоювань Коксона. Вона порушує окреме питання: чи можуть правила безпеки водночас зменшити реальні ризики й сконцентрувати владу в руках кількох великих лабораторій?
Саме ця напруга є центральною для дискусії. Переконлива система управління мала б посилювати нагляд за найпотужнішими системами, не перетворюючи безпекові вимоги на штучний бар’єр для вузького кола компаній.
Висновок
Коксон пішов, бо дійшов висновку, що загроза полягає в самих перегонах між провідними ШІ-компаніями: стимули швидше нарощувати можливості можуть переважити час, потрібний для налагодження контролю, тестування та міжнародної координації. 2
3
Його найгучніші заяви залишаються предметом суперечок. Вони відображають серйозне занепокоєння частини фахівців галузі, але не є доказом того, що вимирання людства неминуче. Нагальніше політичне завдання — створити незалежно перевірювані запобіжники для дедалі потужніших систем, не дозволивши цим запобіжникам просто зміцнити позиції компаній, які ці системи розробляють. 1
13
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Чому Джейкоб Коксон пішов з Anthropic і про що попереджає його заява щодо ШІ"?
Джейкоб Коксон заявив, що пішов з Anthropic через переконання: конкуренція між лабораторіями передового ШІ прискорює рух до систем, здатних самовдосконалюватися, швидше, ніж розвиваються методи безпеки та контролю.
What are the key points to validate first?
Джейкоб Коксон заявив, що пішов з Anthropic через переконання: конкуренція між лабораторіями передового ШІ прискорює рух до систем, здатних самовдосконалюватися, швидше, ніж розвиваються методи безпеки та контролю. Дослідник Anthropic Еван Губінгер вважає поточний ризик від наявних моделей низьким, але особисто оцінює імовірність загибелі людства через ШІ протягом десятиліття більш ніж у 10%.
What should I do next in practice?
Дискусія перетворилася на суперечку про правила: Дарио Амодеї закликав уповільнити нарощування можливостей передових моделей і запровадити незалежний нагляд, тоді як критики остерігаються, що жорсткі вимоги зміцнять н...