ОтветыОпубликовано14 источники
Sampura Research хочет сделать надзор за ИИ совместным — человеческим и машинным
Sampura Research — лондонская некоммерческая организация по безопасности ИИ, основанная бывшими исследователями Google DeepMind Ришубом Джейном и Джошем Джейкобом. Организация получила от Coefficient Giving грант на $11 млн: $7 млн предназначены для первого года, ещё $4 млн обещаны дополнительно.
ОпубликовалОтредактировано с помощью GPT-5.6 LunaИзображения созданы с помощью GPT Image 1.5
Ответ на исследование
Ключевые выводы
- Sampura Research — лондонская некоммерческая организация по безопасности ИИ, основанная бывшими исследователями Google DeepMind Ришубом Джейном и Джошем Джейкобом.
- Организация получила от Coefficient Giving грант на $11 млн: $7 млн предназначены для первого года, ещё $4 млн обещаны дополнительно.
- Sampura предлагает не полностью заменять людей ИИ системами проверяющими, а распределять задачи между человеком, моделью или их комбинацией — особенно в случаях, где автоматическая оценка неуверенна.
- В первые шесть месяцев проект намерен создать публичный постоянно обновляемый рейтинг с более чем 20 поддатасетами, посвящёнными, среди прочего, обнаружению обмана, культурной предвзятости и опасных действий агентов.
Промпт ИИ
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Sampura Research, the London based nonprofit launched on August 24, 2026 by former Google DeepMind researchers Rishub Jain, Joshua J. Article summary: Sampura Research is a London AI safety nonprofit founded by former Google DeepMind researchers Rishub Jain and Josh Jacob—not, based on its own announcement, by Alex Adams.. Topic tags: general web, ai safety, openai, llm, ai. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clickbait thumbnails, icons, and
Что именно запустила Sampura Research
Sampura Research — лондонская некоммерческая организация, занимающаяся безопасностью искусственного интеллекта. Её основали бывшие исследователи Google DeepMind Ришуб Джейн и Джош Джейкоб. В собственном объявлении Sampura не называет Алекса Адамса сооснователем: он упомянут как человек, предоставивший обратную связь по материалам запуска. Публично организация представила себя 25 августа 2026 года — на день позже даты, указанной в исходном вопросе. 4
Проект получил от Coefficient Giving первоначальную поддержку в размере $11 млн: $7 млн выделены на первый год, ещё $4 млн обещаны в дальнейшем. Sampura также объявила о наборе первых технических сотрудников в Лондоне. 4
Почему Sampura спорит с идеей «ИИ контролирует ИИ»
В индустрии безопасности ИИ всё чаще обсуждается масштабируемый надзор — подход, при котором проверку ответов и действий мощных моделей частично или полностью передают другим языковым моделям. Такой вариант быстрее и дешевле постоянной проверки человеком. Более того, в отдельных тестах ИИ уже может лучше людей находить некоторые уязвимости в моделях.
Но у автоматического надзора есть слабые места. Sampura считает, что люди сохраняют несколько важных преимуществ:
- они способны замечать непредсказуемые, «рваные» сбои моделей, которые хорошо справляются с одними задачами и неожиданно проваливаются в других;
- они могут выступать независимой проверкой, если контролируемая модель и модель-судья начинают подстраиваться друг под друга;
- они лучше подходят для обсуждения новых или меняющихся человеческих ценностей, которые заранее трудно свести к формальному правилу.
4
Отсюда главный принцип Sampura: человек не обязан проверять каждое действие ИИ вручную, но его нельзя безоговорочно выводить из контура безопасности.
Как будут работать гибридные «судьи»
В терминологии Sampura судья — это человек, ИИ или комбинированная система, которая оценивает, насколько корректно и безопасно модель отвечает пользователю либо выполняет последовательность действий.
Организация планирует исследовать несколько вариантов такого взаимодействия:
- Оценка уверенности ИИ-судьи. Если автоматическая система сомневается в выводе, случай передаётся человеку.
- Маршрутизация задач. Специальные алгоритмы будут решать, какие задачи или отдельные подзадачи лучше отдать модели, а какие — человеку.
- Помощь человеку по конкретной задаче. ИИ может собирать материалы, предлагать варианты проверки или помогать анализировать длинную цепочку действий, оставляя итоговое решение за экспертом.
Иными словами, речь идёт не о возвращении к полной ручной модерации. Цель — направить ограниченное время специалистов туда, где человеческое участие даёт наибольшую прибавку к безопасности. 4
Датасеты и открытый рейтинг
На первом этапе, рассчитанном на шесть месяцев, Sampura намерена создать публичную постоянно обновляемую таблицу лидеров с более чем 20 поддатасетами. Среди заявленных направлений — обнаружение обмана, культурная предвзятость и небезопасные действия автономных ИИ-агентов. 4
Организация хочет проверять судей не только на заранее подготовленных статичных примерах. Важнее выяснить, сохраняют ли они качество, когда контролируемая модель в ходе обучения с подкреплением начинает оптимизировать поведение специально под критерии проверяющего. Это должно помочь выявлять взлом системы вознаграждений — ситуацию, в которой модель формально добивается нужной оценки, но фактически учится обходить смысл требований.
Sampura обещает публиковать научные статьи, код, датасеты и рейтинги. Такой формат позволит внешним исследователям воспроизводить результаты и сравнивать не только сами модели, но и качество систем, которые их оценивают. 4
Какие риски организация собирается изучать
Заявленная программа выходит за рамки сценария «неконтролируемый ИИ вышел из-под надзора». В неё входят:
- предвзятость моделей;
- небезопасное взаимодействие с детьми;
- чрезмерная зависимость пользователей от ИИ-компаньонов;
- ошибки автономных агентов и попытки обойти ограничения.
В дальнейшем Sampura хочет исследовать не только оценку готовых ответов, но и создание самих инструкций, рубрик и тестовых случаев, по которым эти ответы проверяются. Это потенциально позволит раньше обнаруживать пробелы в системе безопасности. Однако пока речь идёт о плане исследований, а не о продемонстрированной способности удерживать мощные модели под контролем. 4
Главный практический вопрос: работает ли это при внедрении
Для Sampura недостаточно показать, что новый «судья» лучше проходит лабораторный тест. Организация намерена выяснить:
- действительно ли более качественные судьи уменьшают взлом системы вознаграждений;
- когда судей нужно переобучать по мере изменения моделей;
- как сбалансировать стоимость, скорость и качество человеческого участия;
- можно ли сначала проверять такие системы с помощью независимых сторонних оценщиков, а затем применять их при обучении, тестировании и мониторинге передовых моделей.
Это важное различие между красивым бенчмарком и рабочей инфраструктурой безопасности: последняя должна сохранять эффективность в условиях, когда сама модель активно адаптируется к процедуре проверки. 4
Почему найм специалистов стал частью стратегии
Планы Sampura особенно показательны на фоне дефицита специалистов по оценке ИИ. Например, опубликованная вакансия METR для технического сотрудника по проведению оценок указывает базовую зарплату $285 548–$503 116 в год и допускает ещё более высокую компенсацию для исключительных кандидатов. 9
Это показывает, насколько дорого и сложно масштабировать человеческую экспертизу в этой области. Поэтому набор технической команды в Лондоне имеет стратегическое значение. При этом первичный источник Sampura говорит лишь о поиске первых технических сотрудников и не подтверждает конкретное утверждение о найме как минимум шести человек с зарплатами от £100 000 до £290 000. 4
Связь с призывами подготовить «тормоз» для ИИ
В июле 2026 года более 1 100 специалистов по передовым системам ИИ подписали открытое письмо с призывом создать международный механизм, который позволил бы замедлить разработку, если она начнёт опережать возможности безопасного человеческого надзора. 1
Работа Sampura может дать этому обсуждению техническую основу: более независимые, проверяемые и воспроизводимые оценки помогут понять, действительно ли система развивается быстрее, чем её способны контролировать люди.
Но одной исследовательской организации недостаточно, чтобы создать международную координацию, юридические полномочия, доступ к закрытым моделям или механизм принуждения. Поэтому Sampura скорее дополняет государственное регулирование и международное управление, чем заменяет их.
Что известно об уходе Джейна из DeepMind
Уход Джейна произошёл на фоне серии перестановок и увольнений в Google DeepMind. Однако формулировка о том, что лаборатория потеряла «пять ключевых исследователей за шесть дней», основана на менее надёжных вторичных публикациях и не выглядит независимо подтверждённой. 5
По той же причине не стоит без оговорок повторять более широкое утверждение, будто AI-компании уже «не способны контролировать то, что создали». Более аккуратный вывод таков: надёжный надзор за всё более мощными моделями пока не доказан, специалистов по оценке не хватает, а Sampura пытается сделать участие людей более масштабируемым и устойчивым — вместо того чтобы полагаться на принцип, согласно которому ИИ безопасно контролирует ИИ в одиночку.
Studio Global AI
Продолжайте свое исследование
На этой странице есть ответ, подтвержденный источником, который вы можете продолжить внутри Studio Global.
Люди также спрашивают
Каков краткий ответ на вопрос «Sampura Research хочет сделать надзор за ИИ совместным — человеческим и машинным»?
Sampura Research — лондонская некоммерческая организация по безопасности ИИ, основанная бывшими исследователями Google DeepMind Ришубом Джейном и Джошем Джейкобом.
Какие ключевые моменты необходимо проверить в первую очередь?
Sampura Research — лондонская некоммерческая организация по безопасности ИИ, основанная бывшими исследователями Google DeepMind Ришубом Джейном и Джошем Джейкобом. Организация получила от Coefficient Giving грант на $11 млн: $7 млн предназначены для первого года, ещё $4 млн обещаны дополнительно.
Что мне делать дальше на практике?
Sampura предлагает не полностью заменять людей ИИ системами проверяющими, а распределять задачи между человеком, моделью или их комбинацией — особенно в случаях, где автоматическая оценка неуверенна.