FlashProve — відкритий дослідницький прототип Anthropic для перевірюваного інференсу: постачальник фіксує певний набір ваг моделі, а потім створює криптографічний доказ, що вказані токени відповіді відповідають погодженому правилу для цих ваг. Клієнт може перевірити доказ, не отримуючи доступу до самої моделі. Важливе застереження: FlashProve підтверджує конкретне твердження на рівні токенів, а не те, що модель безпечна, що всі деталі її обслуговування були чесними або що будь-який варіант випадково згенерованої відповіді було отримано саме заявленим способом.
10
29
Що FlashProve може підтвердити — і чого не може
Перевірена відповідь прив’язується до конкретного ідентифікатора фіксації ваг, а не лише до назви моделі, яку вказує сервіс. Це може допомогти виявляти підміну моделі й ускладнити деякі спроби перехопити чат: відповідь, яка не проходить перевірку для очікуваної фіксації, може бути відхилена. Anthropic також називає можливим застосуванням перевірку під час оцінювання безпеки — щоб з’ясувати, чи тестували саме ту модель, яку згодом надають клієнтам.
10
40
Однак для цього клієнт має знати, якій фіксації довіряти. Доказ перевіряється щодо конкретної фіксації та відкритих файлів, наданих для верифікації. Сам по собі він не підтверджує, що ця фіксація справді належить моделі, яку постачальник так називає. Ідентичність моделі — це також не сертифікат безпеки: справжня модель усе одно може видавати шкідливі чи помилкові відповіді.
30
32
Два етапи: спершу фіксація, потім докази відповідей
1. Фіксація офлайн. Постачальник запускає інструмент FlashProve для фіксації ваг моделі й публікує матеріали для перевірки. Фіксація містить 32-байтовий відбиток — ідентифікатор фіксації, який прив’язує доказ до конкретного набору ваг. Самі ваги залишаються прихованими.
30
39
2. Доказ онлайн. Для відповіді постачальник створює доказ, що перевірені токени відповідають заданій політиці прийняття для зафіксованих ваг. Стандартна політика точного збігу вимагає, щоб кожен перевірений токен був найімовірнішим вибором моделі — тобто її greedy-вибором. Альтернативна політика clipped-gap, описана в документації, перевіряє, чи відповідають оцінки токенів прийнятному правилу щодо розриву між ними. Це не те саме, що довести чесне випадкове вибирання токенів із заданого розподілу.
20
32
3. Перевірка клієнтом. Клієнт звіряє доказ з очікуваним ідентифікатором фіксації та пов’язаними відкритими файлами, а також із запитом, твердженням про токени й політикою перевірки. Верифікатор працює на процесорі: йому не потрібні ні приватні ваги моделі, ні графічний процесор.
29
30
34
Саме такий поділ може зробити технологію цікавою постачальникам закритих моделей: вони потенційно зможуть запропонувати спосіб перевіряти твердження про інференс, не передаючи клієнтам параметри моделі. Це можливе застосування, а не доказ того, що комерційний сервіс уже впровадив FlashProve.
16
29
Що показала демонстрація на Llama 4 Maverick
FlashProve продемонстрували на Llama 4 Maverick від Meta — моделі типу mixture-of-experts приблизно з 400 мільярдами параметрів. Наведені показники продуктивності варто читати з контекстом: швидкість вимірювали на пакеті запитів, а не в потоці чату одного користувача.
3
7
- Швидкість створення доказів: близько 110 токенів за секунду на одному Nvidia H100 для пакета з 24 запитів, кожен із вікном у 1 024 токени. Обробка пакета тривала приблизно 223 секунди.
1
7
- Розмір доказу: близько 18,78 МБ — зазвичай округлюють до 19 МБ — на один запит із 1 024 токенами.
1
7
- Перевірка: приблизно 17 секунд на процесорі з 24 потоками в наведеному тесті; запуск на одному потоці тривав близько 21 секунди.
1
19
- Початкова фіксація: одноразовий офлайн-етап, за повідомленнями, тривав близько 39 хвилин; опубліковані матеріали для фіксації займали приблизно 6,5 МБ.
7
13
До репозиторію також входить верифікатор на Lean і результати формальної машинної перевірки коректності. Але межі твердження важливі: задокументована властивість коректності стосується верифікатора на Lean і тверджень про точний збіг за визначених припущень. Політика clipped-gap підтримує вужче твердження. Це не означає, що однакова гарантія поширюється на будь-яку реалізацію, спосіб розгортання чи режим декодування.
32
33
Ціна й обмеження
Створення доказу потребує значних обчислень. За наведеними оцінками, для доведення потрібні приблизно у 70–95 разів більші витрати часу GPU, ніж для звичайного інференсу через vLLM. Це суттєві накладні витрати, якщо додавати доказ до кожної відповіді.
1
8
Демонстрація охоплює коротке вікно. Для повнорозмірного тесту репозиторій описує контекстне вікно на 1 024 токени. Результат не підтверджує, що система підтримує довші контексти.
23
Швидкість на пакеті не дорівнює швидкості для одного користувача. Показник стосується сукупної обробки 24 запитів, на яку пішло близько 223 секунд. У реальному сервісі очікування, поки назбирається пакет, може додати затримки для користувача.
1
Гарантія залежить від способу декодування. Точний збіг перевіряє greedy-вибір моделі. Варіант clipped-gap не доводить, що вихідні токени чесно вибрали з конкретного випадкового розподілу. Жодна з цих політик не підтверджує, що відповідь моделі безпечна, правдива чи корисна.
20
32
Хто розробив FlashProve і який статус проєкту
FlashProve створила Frontier Red Team Anthropic разом із дослідниками з EPFL, MIT і StarkWare. Серед зазначених авторів — дослідники Anthropic Рой Рінберг і Алекс Аллейн, а також криптограф Алессандро К’єза та інші учасники.
10
31
Код випущено за ліцензією Apache 2.0. Водночас у репозиторії сказано, що FlashProve — дослідницький артефакт: проєкт не підтримується і не приймає внесків. Відкрита ліцензія не означає, що автори запрошують надсилати зміни до проєкту.
21
31
35
За повідомленнями, Anthropic не планує впроваджувати FlashProve ані у власних сервісах, ані деінде. Разом із приміткою в репозиторії про відсутність підтримки це визначає його як дослідницький прототип для вивчення перевірюваного інференсу, а не як готовий продукт чи сервіс для промислового використання.
15
35