FlashProve — открытый исследовательский прототип Anthropic для так называемого доказуемого инференса: поставщик модели заранее фиксирует её веса криптографическим обязательством, а затем создаёт доказательство того, что определённые токены ответа удовлетворяют согласованному правилу при этих весах. Клиент может проверить доказательство, не получая доступа к самим весам. Важная оговорка: FlashProve подтверждает конкретное утверждение на уровне токенов — но не безопасность модели, честность всех деталей обслуживания или любой способ генерации ответа.
10
29
Что FlashProve может проверить — и чего не может
С помощью доказательства ответ можно связать с конкретным обязательством на веса модели, а не полагаться только на название модели, которое показывает сервис. Это может помочь заметить подмену модели и усложнить некоторые попытки перехватить или подменить ответ в чате: если ответ не проходит проверку для ожидаемого обязательства, его можно отклонить. Anthropic также указывает на возможное применение при оценке безопасности: проверять, что тестируется та же модель, которую затем обслуживают для клиентов.
10
40
Однако для такой проверки клиенту нужно знать, какому обязательству доверять. Доказательство проверяется относительно обязательства и публичных файлов, предоставленных для проверки; само по себе оно не подтверждает, что это обязательство действительно принадлежит модели, заявленной поставщиком. И подтверждение модели — не сертификат безопасности: даже подлинная модель может выдавать вредные или ошибочные ответы.
30
32
Два этапа: сначала фиксируют веса, затем доказывают ответы
1. Офлайн-фиксация. Поставщик запускает программу FlashProve для фиксации весов и публикует материалы обязательства. В него входит 32-байтовый отпечаток — идентификатор обязательства, который привязывает доказательство к конкретному набору весов. Сами веса остаются скрытыми.
30
39
2. Онлайн-доказательство. Для ответа поставщик создаёт доказательство, что проверяемые токены удовлетворяют выбранной политике при зафиксированных весах. Политика FlashProve по умолчанию, exact-match («точное совпадение»), требует, чтобы каждый проверяемый токен был тем, который модель выбрала бы жадным декодированием. Альтернативная политика clipped-gap проверяет, укладываются ли оценки токенов в заданные допустимые пределы. Это не то же самое, что доказать честную случайную выборку токенов из определённого распределения.
20
32
3. Проверка клиентом. Клиент сверяет доказательство с ожидаемым идентификатором обязательства и связанными публичными файлами, а также с запросом, утверждением о токенах и выбранной политикой. Проверка выполняется на CPU и не требует ни доступа к закрытым весам, ни графического процессора.
29
30
34
Такое разделение может быть интересно поставщикам закрытых моделей: они могли бы дать клиентам способ проверять утверждение об инференсе, не раскрывая параметры модели. Это возможный сценарий применения, а не свидетельство того, что коммерческий сервис уже внедрил FlashProve.
16
29
Что показала демонстрация на Llama 4 Maverick
FlashProve испытали на Llama 4 Maverick от Meta — модели типа «смесь экспертов» (mixture of experts, MoE) примерно с 400 миллиардами параметров. Показатели производительности важно читать с учётом условий: скорость генерации доказательств измерялась на пакете запросов, а не в потоке одного пользовательского чата.
3
7
- Скорость генерации доказательств: около 110 токенов в секунду на одной Nvidia H100 при обработке пакета из 24 запросов; для каждого использовалось окно в 1 024 токена. Весь пакет обрабатывался примерно 223 секунды.
1
7
- Размер доказательства: около 18,78 МБ — обычно округляют до 19 МБ — на один запрос с окном в 1 024 токена.
1
7
- Проверка: около 17 секунд на CPU с 24 потоками в опубликованном тесте; запуск на одном потоке занял около 21 секунды.
1
19
- Первичная фиксация: одноразовый этап фиксации, согласно опубликованным результатам, занял около 39 минут; опубликованные материалы обязательства занимали примерно 6,5 МБ.
7
13
В репозитории также есть верификатор на Lean и результаты машинной проверки доказательств корректности. Но область их действия ограничена: формально описанная гарантия корректности относится к верификатору Lean и утверждениям exact-match при оговорённых предположениях; для политики clipped-gap подтверждается более узкое утверждение. Это не означает, что та же гарантия автоматически распространяется на любую реализацию, развёртывание или режим декодирования.
32
33
Цена и ограничения
Генерация доказательств требует больших вычислительных затрат. В опубликованных результатах на неё уходит примерно в 70–95 раз больше времени работы GPU, чем на обычный инференс через vLLM. Для системы, которая должна сопровождать доказательством ответы, это серьёзная дополнительная нагрузка.
1
8
В демонстрации использовалось короткое окно. Для полноразмерного теста репозиторий указывает контекстное окно в 1 024 токена. Результат не подтверждает поддержку более длинного контекста.
23
Пакетная скорость не равна времени ожидания одного пользователя. Заявленная скорость — суммарный показатель для 24 запросов, обработка которых заняла около 223 секунд. В реальном сервисе к времени обработки может добавиться ожидание, пока наберётся пакет.
1
Гарантия зависит от способа декодирования. Exact-match проверяет выбор токенов при жадном декодировании. Вариант clipped-gap не доказывает, что токены были честно выбраны случайным образом из заданного распределения. Ни одна из этих политик не подтверждает, что ответ безопасен, правдив или полезен.
20
32
Кто разработал FlashProve и что с его выпуском
FlashProve создала команда Frontier Red Team из Anthropic вместе с исследователями из EPFL, MIT и StarkWare. Среди указанных авторов — исследователи Anthropic Рой Ринберг и Алекс Аллейн, а также криптограф Алессандро Кьеза и другие соавторы.
10
31
Код опубликован по лицензии Apache 2.0. При этом репозиторий прямо называет FlashProve исследовательским проектом, который не поддерживается и не принимает вкладов. Открытая лицензия не означает, что проект приглашает отправлять в него изменения.
21
31
35
Согласно публикациям, Anthropic не планирует внедрять FlashProve ни у себя, ни где-либо ещё. Вместе с уведомлением в репозитории о прекращении поддержки это указывает на исследовательский прототип для изучения проверяемого инференса, а не на готовый продукт или поддерживаемый сервис.
15
35