«Полезный интеллект за доллар»: CFO OpenAI предлагает новый способ измерения ROI от ИИ

«Годами программное обеспечение измеряли через внедрение: лицензии, активные пользователи, продления, — написала Фрайар в LinkedIn. — ИИ — это другое. Его нужно измерять по выполненной работе» . Фреймворк прямо утверждает, что самая низкая цена за токен не всегда приводит к самой низкой стоимости за результат, и что компании должны оптимизировать общее создание ценности, а не удельную цену .

Четыре вопроса для оценки ROI от ИИ

Методология Фрайар заменяет размытые метрики внедрения четырьмя конкретными вопросами, которые формируют оценочную карту для ROI от ИИ :

1. Выполняет ли ИИ действительно значимую работу?

Измеряйте объём реальных, ориентированных на результат задач — решённых проблем клиентов, отправленных изменений кода, проверенных контрактов, — а не просто количество запросов или использование . «Токены создают ценность, когда они превращаются в работу, которую люди могут использовать», — написала Фрайар . Это смещает фокус с метрик активности (сколько запросов было сделано) на метрики влияния (что было сделано).

2. Сколько стоит каждая успешная задача?

Рассчитайте полную стоимость задачи, соответствующей стандартам качества, включая вывод ИИ, повторные попытки, проверку человеком и доработку . Дешёвая модель, которая часто ошибается, может стоить дороже за успешный результат, чем премиальная модель, которая справляется с первой попытки . Этот вопрос заставляет компании смотреть дальше цены за токен и учитывать скрытые расходы на ошибки и исправления.

3. Как часто ИИ справляется с работой правильно?

Отслеживайте надёжность — процент результатов, «готовых к использованию», по сравнению с теми, что требуют исправления или эскалации . Чем меньше вмешательств человека, тем ниже общая стоимость и выше доверие. Это, по сути, метрика контроля качества для результатов ИИ, признающая, что надёжность так же важна, как и сырая производительность.

4. Приносит ли каждый доллар, вложенный в ИИ, больше ценности по мере роста использования?

Отслеживайте, выполняет ли ИИ больше качественной работы с течением времени без экспоненциального роста затрат — концепция, также называемая «возврат на вычисления» (Return on Compute, ROC), заимствованная из финансового анализа полупроводниковых и дата-центров . Этот вопрос оценивает, имеют ли инвестиции в ИИ эффект компаундирования или убывающую предельную ценность, что критически важно для решений о масштабировании.

Как внедрить фреймворк

Методология спроектирована так, чтобы её можно было проверить с помощью существующих инструментов . Команды определяют, что значит «выполнено» для конкретного рабочего процесса, подсчитывают успешные завершения, суммируют полную стоимость (включая накладные расходы на человека) и отслеживают процент успешных попыток и тенденции качества .

Подход Фрайар рассматривает ИИ как производительный актив, а не как лицензию на программное обеспечение, и предоставляет структурированный способ для финансовых и технологических руководителей ответить на вопрос, который она чаще всего слышит от коллег: «Как нам получить больше ценности от наших расходов на ИИ?» .

Почему этот фреймворк важен сейчас

Предложение прозвучало на фоне резкого роста корпоративных расходов на ИИ: OpenAI сообщает о $1 миллиарде месячной выручки и более 500 миллионах проданных корпоративных лицензий . Тем не менее, у многих организаций отсутствуют чёткие рамки для оценки ROI, что создаёт «несоответствие между возможностями ИИ и ценностью, которую компании извлекают» . Ранее Фрайар описала этот разрыв как «избыток возможностей» (capability overhang) — разрыв между тем, что ИИ может делать, и тем, что организации реально способны использовать для получения бизнес-ценности .

Основывая четыре вопроса на проверяемых данных о затратах и качестве, фреймворк «полезный интеллект за доллар» даёт предприятиям практический инструмент, чтобы перейти от инвестиций в ИИ «на веру» к принятию решений, основанных на доказательствах.