Сем Альтман назвав дві головні небезпеки ШІ: втрата контролю та концентрація влади

Потужний штучний інтелект може піти небезпечним шляхом у двох принципово різних сценаріях, застерігає гендиректор OpenAI Сем Альтман. Люди або втратять контроль над дедалі спроможнішими системами, або контроль над ними зосередиться в руках надто вузького кола. Тобто безпека ШІ — це питання не тільки того, що вміє модель, а й того, хто може нею керувати. 1316

Два сценарії, яких, на думку Альтмана, слід уникнути

Перший — втрата людського контролю. Альтман попередив, що людство може «втратити контроль над майбутнім через ШІ». Він назвав такий результат неприйнятним і наголосив: ШІ має служити людям, а не робити їх залежними від систем, які вони не здатні належно контролювати чи перевіряти. 216

Другий — надмірна концентрація ШІ-влади. Інший ризик — коли надзвичайно потужна система опиняється під контролем однієї людини, компанії або держави й використовується для нав’язування всім власного світогляду. Альтман назвав такий сценарій «вкрай антиутопічним». 113

Ці загрози пов’язані, але не тотожні. Перша стосується здатності людей розуміти, обмежувати та вимикати потужні системи. Друга — ситуації, коли система формально контрольована, але цей контроль належить суб’єкту без достатніх стримувань і противаг.

Які запобіжники підтримує OpenAI

Позиція Альтмана не зводиться до повної зупинки розробки ШІ. Він наполягає, що можливості моделей не мають випереджати роботу з узгодженням їхньої поведінки з людськими цілями (alignment) і моніторингом. А конкурентний тиск, на його думку, не може бути виправданням безвідповідального запуску систем. 213

Серед необхідних кроків він виділяє:

• Узгодження та моніторинг, які не відстають від зростання можливостей моделей. Розробники повинні бути здатні змістовно оцінювати й контролювати поведінку дедалі потужніших систем. 213
• Принцип служіння людям. Це базова мета, що стоїть за застереженням про втрату контролю. 216
• Єдині федеральні правила США для передового ШІ. Альтман підтримав рамку з послідовними вимогами безпеки для систем найвищого рівня, а не лише розрізнені добровільні зобов’язання компаній. 1316
• Незалежну перевірку. Він назвав незалежних аудиторів перспективним способом зміцнити суспільну довіру до компаній, які створюють дедалі спроможніші моделі. 16

Практичний висновок: для найпотужніших моделей має діяти вищий стандарт доказів безпечності. Захисні механізми слід перевіряти до рішення про розгортання, а не додавати постфактум, коли можливості систем уже суттєво зросли.

Чому заяви дослідників Anthropic зробили дискусію гострішою

Того самого тижня колишній дослідник Anthropic Джейкоб Коксон, який звільнився з компанії, заявив, що провідні лабораторії рухаються до ШІ, здатного до самовдосконалення, фактично «граючи нашими життями». За повідомленнями про його відставку, він вважав, що дослідники, які створюють такі системи, серйозно побоюються: вони можуть стати надто потужними для людського контролю. 17

Це формулювання жорсткіше за слова Альтмана, однак базова тривога однакова: приріст можливостей може випередити здатність людей надійно наглядати за системами. У публічній дискусії керівник напряму узгодження ШІ в Anthropic Еван Хубінгер назвав власну оцінку імовірності вимирання людства через ШІ протягом десятиліття вищою за 10% і визнав, що повного розв’язання проблеми узгодження надінтелектуального ШІ поки немає. Це особиста оцінка ризику, а не встановлений прогноз чи науково підтверджена ймовірність. 17

Суть не в тому, що конкретний строк глобальної катастрофи вже доведено — цього не сталося. Важливо інше: люди, найближчі до створення передових моделей, публічно сперечаються, чи встигають наявні практики безпеки за темпом розробки.

Головна суперечка індустрії: можливості передусім чи безпека передусім?

Цю дискусію часто зводять до протистояння прихильників прискорення ШІ та прихильників його уповільнення. Але такий поділ надто спрощує ситуацію. Більшість учасників визнає потенційну користь технології. Розбіжності стосуються черговості кроків і реальної обов’язковості правил.

Один підхід полягає в тому, щоб темп розвитку передових моделей дозволяв дозрівати дослідженням безпеки, оцінюванням, механізмам управління та протидії зловживанням. Генеральний директор Anthropic Даріо Амодеї закликав сповільнити темп нарощування можливостей моделей. Серед запропонованих ним заходів — незалежні оцінювачі з глибоким доступом до компаній, координація між провідними лабораторіями та міжнародна співпраця.

Протилежний тиск також цілком реальний: компанії та уряди побоюються, що повільніший рух за конкурентів означатиме втрату економічної чи геополітичної переваги. Проте Альтман стверджує, що конкуренція не виправдовує ситуацію, за якої можливості ШІ випереджають узгодження та моніторинг. 13

Reuters повідомляв, що деякі дослідники вважають: можливості моделей зростають швидше, ніж очікувалося, тоді як людська видимість процесів усередині систем і потенційний контроль над ними слабшають. Через це центральне політичне питання звучить дедалі гостріше: чи мають лабораторії продовжувати розгортати більш автономні моделі, поки запобіжники їх наздоганяють, чи спершу довести, що ці запобіжники достатні?

Що це означає для правил у сфері ШІ

Два застереження Альтмана показують, що регулювання передового ШІ має працювати одночасно з двома проблемами: технічним контролем і розподілом влади. Оцінювання моделей, дослідження узгодження, моніторинг і незалежний нагляд спрямовані на першу. Єдині правила, прозорість і обмеження одноосібного контролю — на другу.

Ні катастрофічні прогнози, ні точні часові рамки не варто сприймати як доведені факти. Однак саме масштаб потенційної шкоди пояснює, чому вимоги до жорсткішого тестування, зовнішнього контролю та обов’язкових правил безпеки перестали бути вузькою темою й стали центральним питанням для всієї ШІ-індустрії. 13