OpenAI обіцяє пускати незалежних оцінювачів до моделей ШІ ще під час навчання

OpenAI заявила, що підтримуватиме незалежні технічні оцінювання безпеки передових моделей ШІ на ранніших етапах їхнього життєвого циклу — під час навчання, оцінювання та розгортання, а не лише незадовго до релізу. Задум полягає в тому, щоб зовнішні організації мали достатній доступ для перевірки заяв про безпеку, пошуку слабких місць і з’ясування, чи справді працюють запропоновані заходи захисту. 5

Це ширше за звичну практику передрелізного «червоного командування» (red teaming), коли фахівці намагаються виявити небажану або небезпечну поведінку системи. Однак оприлюднена ініціатива є добровільною рамкою, а не системою зовнішнього ліцензування чи юридично обов’язковою вимогою зупинити запуск моделі. Її реальна цінність залежатиме від умов доступу, фактичної незалежності оцінювачів і того, що відбуватиметься після виявлення серйозних ризиків.

Що саме мають перевіряти зовнішні фахівці

OpenAI описує стороннє оцінювання як спосіб незалежно перевірити докази, якими компанії обґрунтовують твердження про можливості передових моделей, ризики та захисні механізми. Компанія говорить про глибокий доступ на етапах навчання, оцінювання та розгортання. 5

За повідомленнями про цю рамку, одним із пріоритетів є незалежна оцінка «обґрунтування безпеки» лабораторії — тобто її аргументів і доказів, що модель достатньо безпечна. Це охоплює навчання, внутрішнє та зовнішнє розгортання. Документ також передбачає чотири напрями оцінювання і сім принципів роботи; лабораторіям можуть дати час виправити виявлені проблеми до публікації, а також дозволити просити про редакційні вилучення. 2

Ранній доступ важливий: перевірка лише наприкінці розробки може виявити проблему тоді, коли ключові технічні й комерційні рішення вже важко змінити. Водночас він створює і власний ризик — доступ до ваг моделей, їхніх можливостей та матеріалів тестування може розкрити чутливу інформацію. Тому програмі оцінювання потрібні реальні гарантії безпеки.

Чотири умови, від яких залежить довіра до перевірок

OpenAI називає чотири базові вимоги до ефективного стороннього оцінювання: надійні механізми незалежності, наукову суворість, сильні практики безпеки та чітко визначені обов’язки. 5

Незалежність

Оцінювання не є по-справжньому незалежним, якщо розробник може диктувати методи, звужувати доступ після незручного висновку або припиняти фінансування через невигідний результат. Незалежність стосується не лише формального статусу організації поза компанією, а й управління, фінансування, обсягу роботи та комунікацій.

Коаліція оцінювачів також закликала до сутнісної незалежності: захисту від контролю з боку компаній, які перевіряють, і права публікувати головні висновки з винятком лише вузько визначених вилучень. 1734

Наукова суворість

Перевіркам потрібні кваліфіковані експерти, коректні методи та докази, які можна вивчити або відтворити. AI Safety Index від Future of Life Institute наголошує на потребі посилити методологію та незалежність оцінювання — зокрема відійти від фрагментарних тестів із низькою валідністю та залучати переконливо незалежних зовнішніх оцінювачів. 812

Безпека

Ранній доступ сторонніх осіб до передових систем сам по собі може створювати загрози. OpenAI зазначає, що розробники повинні забезпечити змістовну перевірку, водночас захищаючи чутливу інформацію. 5 Контроль безпеки має обмежувати зайве розкриття даних, але не перетворюватися на універсальний привід заблокувати оцінювання чи приховати істотні висновки.

Чіткі обов’язки та підзвітність

Переконливий процес потребує визначених ролей: хто надає доступ, хто обирає методи, хто отримує результати, хто вирішує, чи достатні заходи пом’якшення ризиків, і що стається, якщо серйозна проблема лишається невирішеною. Необхідні чіткі канали звітування й ескалації — інакше оцінювання може залишитися просто порадою, яку керівництво тихо проігнорує.

Це не те саме, що розв’язання проблеми узгодженості ШІ

Стороннє оцінювання — це механізм нагляду, а не технічна відповідь на проблему узгодженості ШІ з людськими намірами та цінностями, відому як alignment. Його мета — перевірити, чи підкріплені доказами заяви компанії про ризики та захисні заходи.

Окремо у своєму проєкті федеральної політики OpenAI пропонує, щоб розробники передових моделей оцінювали та зменшували ризики, пов’язані з кіберможливостями, CBRN-ризиками (хімічними, біологічними, радіологічними й ядерними), втратою контролю, неузгодженістю та просуванням до рекурсивного самовдосконалення (RSI). Також документ закликає публікувати рамки безпеки й звіти про прозорість, допускаючи обґрунтовані вилучення для захисту безпеки та комерційної таємниці. 7

У цьому контексті зовнішні оцінювачі можуть допомогти перевірити, чи є переконливими тести та запобіжники розробника. Але самі по собі вони не вирішують проблем втрати контролю, неузгодженості або ризиків, пов’язаних із RSI.

Чим підхід OpenAI відрізняється від моделі Anthropic

Генеральний директор Anthropic Даріо Амодеї виступає за більш безперервний формат: зовнішні оцінювачі повинні мати постійний доступ до провідних ШІ-лабораторій, близький до доступу штатних працівників. За цією моделлю вони вивчали б не тільки готові моделі, а й процеси навчання, практики розгортання, внутрішні запобіжники та суттєві інциденти, пов’язані з безпекою. 1821

Anthropic оголосила про домовленість, за якою співробітники Accenture працюватимуть усередині компанії для аналізу моделей і практик компанії; паралельно вона обговорює пілотні проєкти з іншими організаціями. Водночас Anthropic визнала, що стандарти доступу оцінювачів і правил комунікації ще не сформовані. 1922

Оголошена OpenAI рамка частково збігається з цією метою ранньої та глибшої перевірки. Проте в її публічному описі акцент зроблено на технічних оцінюваннях упродовж етапів розробки. Чи означатиме це стабільний доступ, подібний до вбудованого нагляду, залежить від деталей реалізації, які поки не розкриті повністю. 5

Навіщо потрібні спільні стандарти

За даними повідомлень, Anthropic, OpenAI і Google DeepMind обговорювали створення спільного добровільного органу зі стандартів безпеки ШІ. 20 Узгоджені правила могли б полегшити порівняння методик оцінювання, визначення порогів ризику та встановлення єдиних очікувань щодо звітування про інциденти.

Проте сам по собі орган зі стандартів не усуває конфлікту інтересів і не створює механізму примусу. Добровільний стандарт найпереконливіший тоді, коли його доповнюють прозорі вимірювання, незалежна перевірка та відчутні наслідки за недотримання.

Чому критики не поспішають довіряти

Критики не обов’язково заперечують проти зовнішнього тестування. Їхнє питання інше: чи здатна схема, яку контролює сама компанія, забезпечити справжній нагляд. Адже розробник може обирати оцінювачів, визначати межі доступу, відкладати роботу, просити про вилучення з публікацій або запускати модель попри негативні результати.

Найважливіші застереження такі:

• Фінансова та інституційна незалежність. Оцінювачі мають бути захищені від фінансового тиску або розірвання співпраці після несприятливих висновків. 1734
• Своєчасний і достатній доступ. Тестування має охоплювати релевантні моделі, системи та рішення в процесі розробки досить рано, щоб впливати на результат.
• Свобода повідомляти про висновки. Вилучення з міркувань безпеки іноді виправдані, але вони мають бути вузькими й регулюватися правилами, що не дозволяють приховати суть негативного результату. 217
• Ескалація та наслідки. Результати перевірки повинні доходити до тих, хто ухвалює рішення, а перевищення порогу ризику — мати визначену відповідь.

Колишній дослідник OpenAI Деніел Кокотайло критикував провідні лабораторії за надто швидкий рух у боротьбі за частку ринку. Це відображає ширше побоювання: конкурентний і фінансовий тиск може зробити добровільну паузу надто дорогою для компанії. 3640 Проблема має структурний характер: якщо компанії одноосібно контролюють доступ, публікацію та рішення про розгортання, стороння перевірка може покращити доказову базу, але не перетвориться на незалежний нагляд.

Головне

Пропозиція OpenAI переносить перевірку безпеки на ранніший етап, коли її висновки теоретично ще можуть вплинути на навчання моделі та рішення про запуск. Чотири заявлені принципи — незалежність, сувора методологія, безпека й чітка відповідальність — є логічними орієнтирами. 5

Вирішальним буде те, чи стануть вони обов’язковими умовами роботи: чи матимуть оцінювачі тривалий доступ, свободу обирати методи, захищене право повідомляти про висновки, прозорі правила вилучень і реальний механізм реагування на серйозні ризики. Без цього ранні зовнішні оцінювання можуть бути корисним red teaming, але не тим незалежним наглядом, на якому наполягають критики.