Sampura Research будує «суддів» для ШІ, але не відмовляється від людей

Sampura Research — лондонська некомерційна організація, що займається безпекою штучного інтелекту. Її заснували колишні дослідники Google DeepMind Рішуб Джайн і Джошуа Джейкоб. Важлива деталь: у власному оголошенні Sampura не називає Алекса Адамса співзасновником — там його згадано як людину, яка надала відгук щодо анонсу. Публічний запуск відбувся 25 серпня 2026 року, а не 24 серпня, як зазначалося у початковому запиті. Організація отримала від Coefficient Giving грант на $11 млн: $7 млн на перший рік і ще $4 млн, обіцяних на майбутнє. 4

Чому Sampura не покладається на модель, яка контролює модель

У сфері безпеки ШІ термін «масштабований нагляд» означає пошук способу перевіряти дедалі складніші системи без необхідності залучати людину до кожного окремого рішення. Один із поширених підходів — доручити мовній моделі оцінювати відповіді або дії іншої моделі. Це швидше й дешевше, ніж постійна робота експертів.

Sampura вважає, що такий підхід має принципову ваду: ШІ-суддя може не помітити нерівномірні, або «зубчасті», помилки іншої системи. Люди, на думку організації, зберігають кілька важливих переваг:

• можуть виявляти нетипові збої, які модель-оцінювач пропускає;
• здатні виконувати незалежну перевірку й зменшувати ризик змови між моделлю та її «суддею»;
• можуть обговорювати нові або такі, що змінюються, людські цінності, для яких ще немає усталених правил. 4

Тому позиція Sampura — не «людина краща за ШІ в усьому». Її теза радше полягає в тому, що повна автоматизація нагляду створює новий єдиний канал помилки. Якщо оцінювач теж помиляється, система може не просто пропустити небезпечну поведінку, а й не мати незалежного механізму, який це помітить.

Що таке гібридні «судді»

У термінології Sampura «суддя» — це людина, ШІ або комбінована система, яка визначає, чи була поведінка моделі правильною та узгодженою з вимогами безпеки. Йдеться не лише про перевірку окремої відповіді: оцінювати можуть і весь шлях дій ШІ-агента під час виконання завдання.

Організація планує досліджувати кілька механізмів:

• оцінювання впевненості ШІ-судді, щоб сумнівні випадки автоматично передавалися людині;
• маршрутизацію завдань або їхніх частин між людьми та ШІ;
• спеціалізовані інструменти, які допомагатимуть людині виконувати конкретне завдання оцінювання.

Отже, мета не в тому, щоб люди перевіряли кожну дію моделі вручну. Ідея полягає в адресному залученні людини там, де воно дає найбільший приріст безпеки: у складних, незвичних або високоризикових випадках. 4

Рейтинг, набори даних і перевірка на «злам» оцінювання

Перші шість місяців Sampura хоче присвятити створенню публічної платформи з рейтингом, який постійно оновлюватиметься. Вона має містити понад 20 піднаборів даних, зокрема для перевірки:

• здатності виявляти обман;
• культурних упереджень;
• небезпечних дій автономних ШІ-агентів.

Організація планує перевіряти суддів не лише на заздалегідь підготовлених прикладах. Важливішим тестом стане ситуація, коли модель, яку контролюють, під час навчання з підкріпленням починає оптимізувати поведінку саме під слабкі місця оцінювача. Це пов’язано з ризиком «зламу винагороди» — коли система формально отримує високі оцінки, але фактично обходить задуманий критерій безпеки.

Sampura заявляє, що публікуватиме наукові роботи, код, набори даних і рейтинги. Така відкритість може дати іншим дослідникам змогу відтворювати результати й порівнювати різні методи оцінювання. Водночас відкритий рейтинг сам по собі не гарантує, що модель буде безпечною в реальному середовищі. 4

Від «оцінювання відповідей» до прогнозування шкоди

Оголошена програма виходить за межі сценарію, у якому ШІ раптом стає «некерованим». Sampura також згадує ризики упередженості, небезпечну взаємодію моделей із дітьми та залежність користувачів від ШІ-компаньйонів.

У перспективі організація хоче досліджувати не тільки оцінювання готових відповідей. Йдеться також про створення й перевірку самих інструкцій для моделей, критеріїв оцінювання та тестових прикладів. Це може допомогти раніше помічати нові типи збоїв, однак поки що йдеться саме про дослідницький план, а не про продемонстровану здатність стримувати потужні моделі. 4

Як зрозуміти, чи працює цей підхід

Практична цінність Sampura залежатиме від того, чи дасть її методика вимірюваний результат. Організація планує перевіряти:

• чи справді кращі судді зменшують випадки «зламу винагороди»;
• коли суддів потрібно перенавчати, якщо моделі змінюються;
• як збалансувати вартість, швидкість і якість людської участі.

Спочатку підхід можуть випробувати в межах стрес-тестів із залученням сторонніх оцінювачів. Надалі Sampura розраховує на використання таких методів у навчанні, оцінюванні та моніторингу моделей у провідних ШІ-лабораторіях. 4

Чому тут важлива проблема кадрів

Плани Sampura з’являються на тлі дефіциту фахівців, здатних професійно оцінювати поведінку передових моделей. Наприклад, у вакансії Model Evaluation and Threat Research (METR) для технічного працівника з виконання оцінювань зазначено базову зарплату $285 548–$503 116 на рік, із можливістю запропонувати більше винятково сильним кандидатам. Це ілюструє, наскільки рідкісними стали досвідчені спеціалісти з оцінювання безпеки ШІ. 9

Sampura оголосила про набір технічних працівників-засновників у Лондоні. Водночас доступні первинні матеріали не підтверджують конкретне твердження про найм «щонайменше шістьох» людей із зарплатами від £100 000 до £290 000. Такі цифри не варто подавати як встановлений факт. 4

Як це пов’язано із закликами сповільнити розвиток ШІ

У липні 2026 року понад 1 100 працівників і фахівців із провідних компаній у сфері передового ШІ підписали відкритий лист із закликом створити міжнародний механізм, який давав би змогу навмисно сповільнювати розвиток технології, якщо вона випереджатиме можливості безпечного людського нагляду. Йшлося не про негайну заборону чи паузу, а про підготовку інструментів, які можна буде застосувати за потреби. 1

У цьому контексті Sampura працює над одним із можливих технічних компонентів — більш переконливими та перевірюваними оцінюваннями. Але її дослідження не створює міжнародної координації, юридичних повноважень, доступу до закритих моделей чи механізмів примусового виконання правил. Тому робота організації може доповнювати державне регулювання, але не замінює його.

Що відомо про відхід Джайна з DeepMind

Вихід Рішуба Джайна відбувся на тлі повідомлень про низку відходів співробітників Google DeepMind. Однак формулювання про «п’ятьох ключових дослідників за шість днів» походить із менш надійних вторинних публікацій і не має достатнього незалежного підтвердження, щоб вважати його встановленим фактом. 5

Так само наявні матеріали не доводять широке твердження, ніби ШІ-компанії «ще не можуть стримувати те, що створили». Обережніший висновок такий: надійний нагляд за дедалі потужнішими моделями ще не доведений, спеціалістів із оцінювання бракує, а Sampura намагається зробити людську участь масштабованішою та стійкішою — замість того, щоб беззастережно покладати контроль ШІ на сам ШІ.