Sampura Research хочет, чтобы искусственный интеллект продолжали оценивать люди

Sampura Research — лондонская некоммерческая организация, занимающаяся безопасностью искусственного интеллекта. Её ключевой вопрос звучит так: кто должен решать, ведёт ли себя всё более способная модель правильно и безопасно? Ответ организации — не исключать человека из процесса, а разделить надзор между людьми и ИИ.

Sampura сообщила о первоначальном гранте в размере 11 млн долларов от Coefficient Giving: 7 млн долларов предназначены для первого года работы, ещё 4 млн обещаны дополнительно. 1

Публичное объявление о запуске датировано 25 августа 2026 года, а не 24 августа. В нём основателями названы Ришуб Джайн и Джош Джейкоб. В более ранних публикациях в соцсетях упоминался Алекс Адамс, однако объявление о запуске не подтверждает, что все трое официально основали некоммерческую организацию. 112

Что Sampura называет «судьёй» ИИ

В терминологии Sampura, «судьёй» может быть человек, модель ИИ или гибридная система, которая проверяет, насколько поведение другой ИИ-системы корректно и соответствует заданным целям. Объектом оценки может быть отдельный ответ, диалог или многоэтапная траектория действий автономного агента. 1

Это важно потому, что возможности модели и качество надзора часто рассматривают как разные задачи. Система может писать убедительные ответы и выполнять сложные поручения, но при этом вводить проверяющего в заблуждение, использовать лазейки в функции вознаграждения или совершать опасные действия в длинной последовательности шагов. Sampura хочет улучшить инструменты, которые должны обнаруживать такие сбои.

Организация описывает свой подход как дополняющее взаимодействие человека и ИИ для масштабируемого надзора: автоматизировать то, что машины делают надёжно, но сохранять участие людей там, где требуются интерпретация, суждение или решения, затрагивающие ценности. 1

Почему Sampura не хочет доверять надзор только ИИ

Автоматические оценщики привлекательны: они работают быстрее и дешевле, особенно при проверке огромного числа примеров. Но скорость сама по себе не делает проверяющую систему надёжной. В заявлении о запуске Sampura выделяет несколько рисков:

• Неравномерные способности. Возможности ИИ могут быть «рваными»: модель уверенно справляется с одними задачами и неожиданно проваливается на других.
• Общие ошибки. Человеческий и машинный оценщики могут ошибаться одинаковым образом — особенно если проверяемая модель оптимизируется под сам процесс оценки.
• Манипуляции и сговор. Система, за которой наблюдают, потенциально может использовать слабости автоматического проверяющего, обманывать его или влиять на него.
• Новые ситуации. В неоднозначных и незнакомых случаях может потребоваться обсуждение ценностей человеком, а не механическое применение ранее выученных предпочтений.

Это не означает, что человек всегда лучше машины. Аргумент Sampura в другом: необходимо проверить, какое сочетание человеческой и машинной оценки сохраняет надёжность под давлением, вместо того чтобы заранее отдавать весь контроль одной стороне. 1

Как будут проверять «судей»

Первые шесть месяцев работы посвящены созданию разнообразного рейтинга систем-«судей» более чем с 20 поднаборами данных. Среди заявленных направлений — выявление обмана, культурной предвзятости и небезопасных действий ИИ-агентов. 1

Проверка не ограничится статичными вопросами и ответами. Sampura планирует также сценарии, в которых контролируемая модель во время обучения с подкреплением напрямую оптимизируется против судьи. Такой эксперимент должен показать, продолжает ли оценщик работать, когда у проверяемой системы появляется стимул найти и использовать его слабые места. 1

Исследователи собираются сравнить три подхода:

1. Человеческие судьи, которые оценивают поведение напрямую.
2. Судьи на основе только ИИ, обеспечивающие скорость и масштабирование.
3. Гибридные судьи, распределяющие работу между людьми и машинами или координирующие их решения.

Цель — не просто получить высокий результат в одном узком тесте. Sampura хочет найти системы, которые сохраняют устойчивость на широком наборе проверок и не теряют эффективность по мере того, как контролируемые модели учатся обходить оценивание. 1

Как может работать гибридный надзор

Sampura рассматривает несколько вариантов объединения человеческих и машинных решений:

• ИИ оценивает степень собственной уверенности и передаёт сомнительные случаи человеку.
• Маршрутизатор назначает всю задачу либо человеку, либо автоматическому оценщику.
• Сложная проверка разбивается на части, которые затем распределяются между людьми и машинами.
• Специальные интерфейсы помогают экспертам быстрее и последовательнее оценивать трудные случаи.

В таком подходе участие человека — не принцип «всё или ничего», а параметр, который можно оптимизировать. Простые и надёжные случаи можно проверять автоматически, а более важные или неоднозначные — передавать человеку. Поэтому главный компромисс выглядит не как «человек против ИИ», а как поиск баланса между точностью, стоимостью, скоростью и устойчивостью к намеренному обходу проверки. 1

Более долгосрочные планы

После создания более надёжных судей Sampura намерена проверить, помогают ли они снижать взлом функции вознаграждения — ситуацию, когда модель находит способ формально получить высокий результат, не достигая реальной цели обучения. Организация также хочет изучить, сколько человеческого участия необходимо, как должны адаптироваться системы надзора, когда базовые модели учатся их обходить, и можно ли применять судей не только для классификации готовых ответов. 1

В перспективе речь может идти о подготовке и оценке спецификаций, инструкций, критериев и тестовых сценариев, по которым ИИ обучают и проверяют. Sampura обещает публиковать результаты в виде научных работ, кода, наборов данных и рейтингов. 1

При этом доступные материалы подтверждают именно общую программу с наборами данных, бенчмарками, маршрутизацией задач и инструментами помощи людям. Они не подтверждают существование каждого более конкретного проекта, который связывают с организацией, включая отдельно названный набор данных о «перспективном вреде» или готовую платформу для открытого оценивания людьми. Такие описания следует считать неподтверждёнными, а не анонсированными продуктами.

Зачем организации столько специалистов

Sampura объявила о найме первых технических сотрудников в Лондоне. Для её программы нужны специалисты по машинному обучению, дизайну оценивания, взаимодействию человека и компьютера, работе с данными и внедрению систем. 1 В более ранних публичных сообщениях говорилось о найме как минимум ещё шести исследователей и зарплатах от 100 000 до 290 000 фунтов в год, однако эти точные цифры не подтверждены объявлением о запуске некоммерческой организации. 1213

Рынок специалистов по оценке ИИ уже испытывает дефицит. В собственной вакансии METR на должность специалиста по выполнению оценок указана базовая зарплата от 285 548 до 503 116 долларов в год; организация также допускает более высокую оплату для исключительно опытных кандидатов. 18

Это показывает масштаб задачи Sampura: надёжный надзор требует не только разработки моделей, но и продуманного дизайна проверок, человеческих интерфейсов и практической эксплуатации. При этом некоммерческие организации, работающие над безопасностью ИИ, конкурируют за многих одних и тех же специалистов с крупнейшими технологическими компаниями.

Часть более широкой тревоги о темпах развития ИИ

Запуск Sampura состоялся на фоне опасений, что развитие ИИ может опередить системы, призванные его контролировать. В июле 2026 года более 1 100 сотрудников крупных ИИ-компаний подписали открытое письмо с призывом к правительству США поддержать международные технические и управленческие механизмы, которые при необходимости позволили бы намеренно замедлить развитие передовых систем. Письмо не призывало немедленно останавливать разработку ИИ. 40

В этой же более широкой картине происходят заметные кадровые перестановки в индустрии. Reuters сообщило об изменениях в руководстве ИИ-подразделения Google и уходе известных инженеров и исследователей в другие компании и стартапы. 49 Эти события помогают понять контекст появления Sampura, но сами по себе не доказывают, что некоммерческая организация уже решила проблему безопасности.

Что Sampura может утверждать сейчас — и чего не может

Наиболее надёжно подтверждённая характеристика Sampura — ранняя исследовательская организация, создающая инфраструктуру измерения и принятия решений для надзора за ИИ. Её бенчмарки и гибридные методы оценки в будущем могут пригодиться разработчикам моделей, независимым аудиторам и другим организациям, проверяющим поведение ИИ. 1

Но это не доказательство того, что Sampura способна сдержать передовые системы ИИ. Её ближайшая задача — исследовать, как проектировать и тестировать надзор, если проверяемая модель становится способной к адаптации, сложному поведению и намеренному поиску лазеек в оценивании.

Главная ставка организации проста: масштабируемая безопасность потребует автоматизации — но не такой автоматизации, которая исключает человека из самых важных решений.