Sampura Research хоче, щоб люди й надалі оцінювали ШІ

Sampura Research — лондонська некомерційна організація, що займається безпекою штучного інтелекту. Її головне практичне питання звучить так: хто має визначати, чи поводиться дедалі потужніша система ШІ правильно й безпечно?

Відповідь Sampura — не усувати людей із процесу, а розподілити функції нагляду між людьми та штучним інтелектом. Організація повідомила про початковий грант у $11 млн від Coefficient Giving: $7 млн на перший рік і ще $4 млн у вигляді додаткового обіцяного фінансування. 1

Публічний запуск датований 25 серпня 2026 року, а не 24 серпня. В оголошенні засновниками названо Рішуба Джайна та Джоша Джейкоба. У попередніх дописах у соцмережах згадувалася також робота Алекса Адамса, однак офіційне оголошення не підтверджує, що всі троє формально заснували організацію. 112

Що Sampura називає «суддею» ШІ

У термінології Sampura «суддею» може бути людина, модель ШІ або гібридна система, яка оцінює, чи є поведінка іншої системи штучного інтелекту правильною та узгодженою з вимогами безпеки. Перевіряти можна як окрему відповідь, так і цілу розмову або багатокрокову траєкторію агента. 1

Це важливе розмежування: нагляд часто розглядають як окрему проблему, не пов’язану безпосередньо зі здатностями моделі. Система може генерувати переконливі відповіді чи виконувати складні завдання, але водночас вводити оцінювача в оману, використовувати прогалини у функції винагороди або виконувати небезпечні дії під час довгої послідовності кроків.

Дослідницька програма Sampura спрямована на те, щоб краще виявляти такі збої. Організація називає свій підхід людсько-ШІ доповненням для масштабованого нагляду: автоматизація використовується там, де вона надійна, а люди залишаються залученими до завдань, що потребують судження, інтерпретації або чутливих до цінностей рішень. 1

Чому організація не покладається лише на ШІ-нагляд

Штучний інтелект привабливий як наглядач: його можна запускати швидко, дешево й у великому масштабі. Проте, на думку Sampura, сама швидкість не робить оцінювача надійним. В офіційному повідомленні організація виділяє кілька ризиків:

• Нерівномірні здібності. Можливості ШІ можуть бути «зубчастими»: система добре виконує одні завдання, але несподівано провалюється на інших.
• Спільні помилки. Людські та машинні оцінювачі можуть помилятися однаково, особливо якщо модель оптимізують під конкретний процес перевірки.
• Маніпуляції та змова. Система, яку контролюють, потенційно може використати слабкі місця автоматизованого наглядача, обдурити його або вплинути на його рішення.
• Нові ситуації. Незнайомі чи неоднозначні випадки можуть потребувати людського обговорення цінностей, а не механічного застосування засвоєних уподобань.

Це не означає, що люди завжди оцінюють краще за машини. Йдеться про інше: Sampura хоче перевірити, яка комбінація людського та машинного оцінювання найкраще працює під тиском, замість того щоб наперед доручати всі випадки лише людям або лише ШІ. 1

Як перевірятимуть «суддів»

Перші шість місяців програми будуть присвячені створенню різноманітної таблиці лідерів для «суддів», що міститиме понад 20 піддатасетів. Серед запланованих напрямів — виявлення обману, культурної упередженості та небезпечних дій ШІ-агентів. 1

Тести не обмежуватимуться статичними запитаннями й відповідями. Sampura також планує сценарії, у яких модель, що перебуває під наглядом, безпосередньо оптимізується проти «судді» під час навчання з підкріпленням. Такий формат має показати, чи продовжує оцінювач працювати, коли модель зацікавлена знаходити та використовувати його слабкі місця. 1

Дослідники порівнюватимуть три широкі підходи:

1. Людські «судді», які безпосередньо оцінюють поведінку моделі.
2. Судді, що працюють лише на ШІ, — швидші та легші для масштабування.
3. Гібридні судді, які розподіляють або координують роботу між людьми та машинами.

Мета — не просто отримати високий бал на одному вузькому бенчмарку. Sampura прагне створити оцінювачів, які залишатимуться стійкими на широкому наборі тестів і працюватимуть навіть тоді, коли моделі, за якими вони наглядають, навчаться краще використовувати недоліки перевірки. 1

Який вигляд може мати гібридний нагляд

Організація описує кілька можливих способів поєднання людських і машинних рішень:

• ШІ може оцінювати власну впевненість і передавати сумнівні випадки людині.
• Маршрутизатор може визначати, кому доручити весь наглядовий процес — людині чи автоматизованому оцінювачу.
• Складне завдання можна розкласти на менші частини, передаючи окремі підзавдання людям або машинам.
• Спеціальні інтерфейси можуть допомагати людям швидше та послідовніше оцінювати складні випадки.

За такого підходу участь людей — не вимога за принципом «усе або нічого», а ресурс, який потрібно правильно розподіляти. Простий випадок можна дешево й надійно перевірити автоматично, тоді як складніший виправдовує повільнішу увагу людини. Отже, ключовий компроміс полягає не у виборі «людина проти ШІ», а в балансі між точністю, вартістю, швидкістю та стійкістю до навмисного обходу перевірок. 1

Довгострокові плани Sampura

Після вдосконалення «суддів» Sampura хоче перевірити, чи допоможуть вони зменшити злам системи винагороди під час навчання моделей — ситуацію, коли система оптимізує формальний показник, але фактично обходить задум розробників. Організація також планує досліджувати, скільки людського залучення потрібно, як адаптувати нагляд, коли базові моделі навчаються використовувати його слабкі місця, і чи можуть «судді» робити більше, ніж просто класифікувати результати. 1

Йдеться, зокрема, про підготовку або оцінювання специфікацій, інструкцій, критеріїв і тестових випадків, які використовують для навчання та перевірки систем ШІ. Sampura заявляє, що публікуватиме результати у вигляді наукових статей, коду, датасетів і таблиць лідерів. 1

Водночас доступні матеріали підтверджують загальну програму з датасетами, бенчмарками, маршрутизацією та інструментами допомоги людям, але не кожен конкретний проєкт, який пов’язують з організацією. Зокрема, не підтверджено оголошення окремого датасету під назвою «forward-looking harm» або відкритої платформи для людського оцінювання. Такі описи варто вважати неперевіреними, а не заявленими продуктами.

Чому важливий набір команди

Sampura повідомляє, що наймає перших технічних співробітників у Лондоні. Її програма потребує компетенцій у машинному навчанні, розробленні оцінювань, взаємодії людини з комп’ютером, роботі з даними та впровадженні систем. 1 У попередніх публічних дописах ішлося про найм щонайменше шести додаткових дослідників і зарплати від £100 000 до £290 000, але саме ці цифри не підтверджені запусковим оголошенням некомерційної організації. 1213

На ринку оцінювання ШІ Sampura також конкурує за обмежене коло спеціалістів. В актуальному оголошенні METR для фахівця з виконання оцінювань зазначена базова зарплата від $285 548 до $503 116, причому організація допускає ще вищу оплату для винятково досвідчених кандидатів. 18

Це показує масштаб кадрового виклику: надійний нагляд потребує одночасно технічних досліджень і ретельної перевірки в реальних умовах, а організації, що працюють над цією проблемою, змагаються за багатьох однакових фахівців.

Частина ширшої дискусії про контроль над розвитком ШІ

Запуск Sampura відбувається на тлі побоювань, що розвиток штучного інтелекту може випередити системи, покликані його контролювати. У липні 2026 року понад 1 100 працівників провідних ШІ-компаній підписали відкритий лист із закликом до уряду США підтримати міжнародні технічні та управлінські інструменти, які за потреби могли б навмисно сповільнити розвиток передових систем ШІ. Лист не закликав негайно зупинити розроблення технології. 40

Відбуваються і помітні зміни серед провідних дослідників. Reuters повідомляло про перестановки в керівництві ШІ-підрозділу Google та переходи відомих інженерів і науковців до інших компаній і стартапів. 49 Це створює контекст для появи Sampura, але не доводить, що некомерційна організація вже розв’язала базову проблему безпеки.

Що Sampura може — і чого поки не може — заявляти

Найпереконливіші наявні дані описують Sampura як дослідницьку організацію на ранній стадії, що створює інфраструктуру вимірювання та ухвалення рішень для нагляду за ШІ. Її бенчмарки й гібридні методи оцінювання в майбутньому можуть бути корисними лабораторіям, незалежним оцінювачам та іншим організаціям, які перевіряють поведінку моделей. 1

Це не те саме, що довести здатність стримувати передові системи ШІ. Найближчий внесок Sampura — дослідити, як проєктувати й перевіряти нагляд, коли модель є потужною, адаптивною та потенційно зацікавленою в тому, щоб пройти оцінювання будь-якою ціною. Головна ставка організації полягає в тому, що масштабована безпека потребуватиме автоматизації — але не такої, яка усуває людей від найважливіших рішень.