Стрес на передньому краї ШІ: чому дослідники безпеки беруть паузу або йдуть

Проблема, про яку говорять дослідники, — це зіткнення морального напруження з інституційним тиском. Люди, що перевіряють найпотужніші моделі ШІ, побоюються: системи або сама гонитва за їхнім швидким запуском можуть відкрити шлях до біологічної шкоди чи кібератак раніше, ніж з’являться достатні запобіжники, нагляд і можливість ретельно оцінювати ризики.

За даними, на які посилаються медіа, кілька працівників британського AI Safety Institute — державної структури, що незалежно оцінює передові моделі ШІ, — брали лікарняні через стрес або зверталися по психологічну допомогу. Причинами називали жорсткі графіки тестування, низький моральний стан і вигорання. Про схожу тривогу повідомляли й дослідники у провідних лабораторіях, хоча відкриті дані не дозволяють встановити, наскільки це поширене явище в кожній конкретній організації. 15

Чого саме вони бояться

Ризики бачать у двох часових горизонтах:

• Найближчі загрози. Моделі можуть знизити поріг для кібератак або небезпечного використання біологічних знань. Джейкоб Коксон прямо називав ШІ-посилені біологічні загрози та кіберзброю можливими шляхами до катастрофи. 15
• Довша перспектива. Дедалі автономніші системи можуть стати складнішими для осмисленого людського контролю — особливо якщо вони прискорюватимуть дослідження та розробку самого ШІ.

Водночас це не є доказом того, що катастрофа або зникнення людства неминучі. Ідеться про те, що частина людей, які працюють найближче до таких систем, вважає поєднання швидкого зростання можливостей, ризиків подвійного призначення та слабкого зовнішнього контролю психологічно й етично неприйнятним.

Чому ця робота може спричиняти моральну травму

Фахівці з безпеки не спостерігають за небезпекою збоку. Вони тестують моделі, оцінюють їхні можливості, навчають їх або допомагають готувати до впровадження. Якщо графік стислий, а комерційна конкуренція не слабшає, між виявленням проблеми та реальним впливом на рішення про випуск моделі може виникати болісний розрив. Це здатне породжувати безсилля, вигорання і відчуття причетності до потенційної шкоди. 15

Публічним символом цієї тривоги став Джейкоб Коксон. Він працював над попереднім навчанням моделей і в OpenAI, і в Anthropic, а згодом звільнився з Anthropic. Коксон заявив, що компанії, на його думку, змагаються за створення самовдосконалюваного надінтелекту без належної відповідальності. 14 У коментарі BBC він сказав, що люди всередині провідних лабораторій «щиро налякані» темпом прогресу та його наслідками. 9

Чому одного рішення окремої лабораторії недостатньо

Дискусія навколо можливого сповільнення ШІ дедалі більше схожа не лише на технічне, а й на трудове та політичне питання. Окрема людина або окрема компанія навряд чи здатна безпечно зупинити конкурентну гонку самотужки: для цього потрібні координація, незалежні перевірки та публічні правила.

Експерти Stanford HAI зазначали, що загальне сповільнення розвитку можливостей ШІ буде важко реалізувати. Водночас вони наголошували на необхідності незалежного оцінювання — з боку держави або кваліфікованих зовнішніх організацій — а також на посиленні інвестицій у безпеку, захист і моніторинг. 3

Чому заклики керівників «натиснути на гальма» не знімають недовіру

Керівники Anthropic, OpenAI, Google DeepMind та інших компаній у різній формі підтримували ідею сповільнити розвиток передових систем. 2 Проте критики застерігають: якщо «заморожування ШІ» проєктуватимуть або контролюватимуть нинішні технологічні гіганти, це може ще більше зміцнити їхні позиції та відтіснити менших конкурентів. 11

Тому ключове питання — не лише в заявах, а у перевірюваних діях: чи готові компанії відкладати запуск, допускати незалежний аудит, дотримуватися обов’язкових порогів ризику, захищати викривачів і приймати зовнішні обмеження.

Автоматизація досліджень додає відчуття втрати контролю

Повного рекурсивного самовдосконалення — коли ШІ самостійно й безперервно радикально покращує себе — наразі не продемонстровано. 6 Однак системи вже можуть автоматизувати окремі частини інженерної та дослідницької роботи. Це потенційно скорочує цикл між ідеєю, експериментом і новою версією моделі — швидше, ніж люди встигають зрозуміти, перевірити й врегулювати наслідки.

CSET попереджає, що глибша автоматизація досліджень і розробки ШІ може прискорити прогрес і водночас послабити людське розуміння та контроль. 4 Водночас нещодавнє дослідження показало більш стриману картину: агенти змогли самостійно виконати значний обсяг інженерної роботи, але не досягли суттєвого прогресу у відкритому науковому пошуку. 5

Отже, лікарняні, звернення по допомогу чи звільнення — це не підтвердження неминучої катастрофи. Це сигнал про те, що для частини працівників передового ШІ темп розвитку технології, її можливі зловживання та нинішня система контролю вже стали надто важким моральним тягарем.