Чому дослідники безпеки передового ШІ вигорають і вимагають сповільнити гонку

Робота з безпекою передового ШІ створює особливий тип тиску. Дослідники, які перевіряють найпотужніші моделі, можуть вважати, що ті здатні завдати серйозної шкоди, але водночас не мати повноважень відкласти їхній випуск або вимагати усунення недоліків.

За повідомленнями, кілька працівників британського AI Safety Institute — установи, що оцінює передові моделі ШІ, — брали лікарняні або зверталися по психологічну допомогу. Серед названих причин — жорсткі строки тестування, низький моральний стан і тривога через стрімке розгортання технологій. Це не доводить, що такий досвід є універсальним ані для інституту, ані для Anthropic, OpenAI чи Google DeepMind. Проте це виразний сигнал про людську ціну технологічної гонки з високими ставками. 2

Чому ця робота психологічно виснажує

Фахівці з безпеки не аналізують віддалену гіпотезу. Вони тестують системи, які компанії можуть невдовзі випустити у широкий доступ. Виявити вразливість — не те саме, що мати змогу зупинити реліз.

Повідомлення про ситуацію у британському інституті стосуються скорочених вікон для оцінювання ще не випущених систем і занепокоєння, що комерційне впровадження та зростання можливостей моделей відбуваються надто швидко. 2 За таких умов звичайне професійне вигорання може посилюватися відчуттям відповідальності за ризики, які окремий оцінювач не здатен усунути самотужки.

Це радше інституційна проблема, а не свідчення того, що хтось із працівників «перебільшує» або що катастрофа неминуча. Вона виникає там, де потенційна ціна помилки здається надзвичайно високою, темп роботи — надмірним, а незалежні механізми втручання — нечіткими або слабкими.

Яких ризиків вони побоюються

Йдеться і про ближчі загрози зловживань, і про більш спекулятивні довгострокові сценарії втрати контролю.

Кібербезпека та біологічні зловживання

Потужна модель може знизити поріг знань, часу або витрат, необхідних для шкідливих дій. Колишній дослідник Anthropic Джейкоб Коксон, який раніше працював в OpenAI, назвав правдоподібними шляхами до тяжкої шкоди біологічні загрози, посилені ШІ, та кіберзброю. 15

Це не означає, що конкретна модель уже спричинила подібний інцидент. Саме тому команди безпеки наполягають на перевірках, контролі доступу та моніторингу до масового поширення систем із сильнішими здібностями до міркування чи автономної дії.

Системи, що розвиваються швидше за нагляд

Інше побоювання: ШІ може автоматизувати дедалі більшу частину наукової та інженерної роботи, прискорюючи сам цикл розробки. У звіті Центру безпеки й нових технологій Джорджтаунського університету (CSET) зазначено, що висока автоматизація досліджень і розробок у сфері ШІ потенційно здатна прискорити зростання можливостей систем і водночас ускладнити для людей їхнє розуміння та контроль. Це описаний сценарій ризику, а не встановлений результат. 48

Водночас наявні дані окреслюють важливу межу. Одне недавнє дослідження показало, що агенти могли самостійно виконати значний обсяг інженерної роботи для дослідження, але не досягли змістовного поступу у відкритих наукових питаннях, які їм запропонували. 49 Отже, повне рекурсивне самовдосконалення не є доведеним фактом. Тривога стосується напряму й швидкості змін: навіть часткова автоматизація може скорочувати час на перевірку, врядування та виправлення помилок.

Чому резонансним стало звільнення Джейкоба Коксона

Публічна відставка Коксона надала людського виміру тривогам, які часто залишаються всередині компаній. Він заявив, що після роботи над дослідженнями попереднього навчання моделей в OpenAI та Anthropic дійшов висновку: компанії змагаються за створення самовдосконалюваного надінтелекту без належної відповідальності. У коментарі BBC він також сказав, що люди, які працюють над цією технологією, «щиро налякані» темпом її розвитку та можливими наслідками. 1

Звільнення однієї людини не підтверджує кожного її прогнозу. Але воно висвітлює реальну дилему працівника: чи дає робота всередині лабораторії найкращий шанс посилити запобіжники, чи вихід із неї та публічна заява стають необхідними, коли внутрішні канали не видаються достатніми.

Чому одна лабораторія не може легко сповільнити гонку

Центральна проблема врядування тут — колективна дія. Лабораторія, яка самотужки пригальмує розвиток можливостей моделей, може боятися відстати від конкурентів. А її працівники матимуть ще менше важелів впливу на загальногалузеву гонку.

Експерти Стенфордського інституту людиноцентричного ШІ (Stanford HAI), обговорюючи можливість сповільнення ШІ, дійшли висновку, що широке уповільнення розвитку можливостей буде важко реалізувати. Водночас вони наголосили на потребі незалежного оцінювання з боку держави або кваліфікованих третіх сторін, а також на посиленні інвестицій у безпеку, захист і моніторинг. 18

Такий підхід конкретніший, ніж перекладання тягаря на особисту совість дослідників. Він змінює питання: хто проводить перевірки, що відбувається після перетину порогу ризику та хто здатен незалежно підтвердити дотримання правил?

Чи щирі заклики індустрії сповільнитися

Керівник Anthropic Даріо Амодеї, очільник OpenAI Сем Альтман і співзасновник Google DeepMind Деміс Гассабіс публічно, з різним ступенем конкретики, підтримали ідею сповільнення або «виваженого темпу» розвитку передового ШІ. 32 Серед обговорюваних пропозицій — надати незалежним зовнішнім оцінювачам постійний доступ до лабораторій, що працюють із найпотужнішими системами. 36

Однак публічна обіцянка не дорівнює примусовому обмеженню. Критики застерігають, що заморожування розвитку ШІ, спроєктоване домінантними компаніями, може зміцнити їхній вплив і поставити менших конкурентів у гірші умови. 34 Обидва твердження можуть бути правдивими одночасно: частина керівників може щиро бачити ризики, а чинні лідери ринку — водночас отримувати вигоду від правил, яких новачкам важче дотриматися.

Тому корисніший критерій — не вгадування мотивів, а можливість перевірки. Серйозність зобов’язань щодо безпеки можна оцінювати за такими ознаками:

• незалежні оцінювання, які не контролює лише розробник;
• чіткі пороги ризику та наслідки їх перетину;
• прозоре повідомлення про інциденти й практики кіберзахисту;
• дієвий зовнішній нагляд;
• захист працівників, які повідомляють про проблеми безпеки.

Що ці повідомлення доводять — і чого не доводять

Вони не доводять, що вимирання людства неминуче, що всі працівники передових лабораторій переживають психологічну кризу або що нинішні системи ШІ можуть безмежно самовдосконалюватися без участі людей.

Натомість вони показують, чому дехто з людей, найближчих до технології, сприймає цей момент як етично вкрай складний: потужні системи перевіряють під тиском часу, можливі загрози охоплюють кібер- й біологічні зловживання, а також втрату контролю, тоді як інституції для управління релізами ще можуть не мати достатньої незалежності та повноважень. 2 15 18

Для дослідників безпеки ШІ це поєднання здатне перетворити технічну посаду на питання особистої відповідальності. Стійка відповідь полягає не в тому, щоб залишати цю відповідальність окремим працівникам, а в побудові переконливої та незалежно верифікованої системи оцінювання й підзвітності, здатної не відставати від технологій, якими вона має керувати.