Как Fractile пытается устранить главное узкое место ИИ — медленный inference

Ситуацию усугубляют новые типы AI‑нагрузок:

• ответы становятся длиннее и сложнее
• контекстные окна моделей резко растут
• модели рассуждения выполняют несколько внутренних шагов перед выдачей ответа

В некоторых задачах требуется десятки миллионов токенов на одну задачу, поэтому скорость генерации и доступ к памяти становятся критическими факторами.

Именно поэтому Fractile считает, что в ближайшие годы главным ограничением развития ИИ станет задержка inference, а не возможности моделей.

Подход Fractile: вычисления прямо внутри памяти

Чтобы решить проблему, компания разрабатывает чипы с архитектурой in‑memory compute — вычисления внутри или рядом с памятью.

В традиционных ускорителях ИИ (например, GPU Nvidia) вычислительные ядра и память разделены. Данные постоянно перемещаются между ними, что тратит время и энергию.

Fractile предлагает другой подход: выполнять значительную часть операций там же, где уже хранятся данные модели.

Основные идеи архитектуры:

• объединение вычислений и памяти на одном чипе
• выполнение операций модели непосредственно внутри структур памяти
• минимизация передачи данных между внешней памятью и процессором

Сокращение такого «путешествия данных» может значительно улучшить:

• задержку ответа (latency)
• энергопотребление
• стоимость вычислений

Все три фактора критически важны для масштабного применения ИИ.

Компания утверждает, что её системы потенциально смогут запускать inference моделей до 25 раз быстрее и примерно в 10 раз дешевле, чем существующее оборудование. Ранее также упоминались более амбициозные цели — до 100× ускорения в отдельных сценариях, однако это пока лишь заявленные ориентиры, а не независимые бенчмарки.

На что пойдут $220 млн инвестиций

Раунд Series B на $220 млн возглавили венчурные фонды Accel, Factorial Funds и Founders Fund. Среди других инвесторов — Conviction, Gigascale Capital, O1A Ventures, Felicis, Buckley Ventures и 8VC.

Компания планирует направить средства на:

• ускорение разработки архитектуры inference‑чипов
• подготовку первых аппаратных систем к производству
• расширение инженерных команд в Великобритании, США и Тайване

Fractile была основана в 2022 году инженером Уолтером Гудвином (Walter Goodwin), выпускником Оксфорда. Компания рассчитывает начать поставки первых систем клиентам позже в этом десятилетии.

Также сообщалось о ранних обсуждениях с AI‑компаниями, включая Anthropic, которые могут стать потенциальными пользователями технологии, хотя официальных коммерческих контрактов пока не объявлено.

Какие новые возможности откроет быстрый inference

Если архитектуры вроде Fractile действительно смогут значительно ускорить inference, это может изменить типы задач, которые выполняет ИИ.

1. Модели сложного рассуждения

Современные reasoning‑модели могут генерировать промежуточные цепочки мыслей, проверять несколько вариантов решения и пересчитывать ответы. Быстрый inference позволит тратить больше вычислений во время работы модели — подход, известный как test‑time compute.

2. Ассистенты в реальном времени

Чем меньше задержка между токенами, тем более естественным кажется разговор с ИИ. Ускорение генерации может приблизить голосовых и текстовых ассистентов к почти мгновенному диалогу.

3. Агентные AI‑системы

Автономные AI‑агенты могут выполнять сложные цепочки действий: вызывать инструменты, писать код, проверять результаты и повторять цикл рассуждения. Такие задачи требуют огромных токенных бюджетов, поэтому скорость inference становится критичной.

4. Масштабные корпоративные сервисы

Компании, которые запускают AI‑копилотов, автоматизированную поддержку клиентов или публичные API моделей, зависят от стоимости и пропускной способности генерации токенов. Специализированные inference‑чипы могут значительно снизить эксплуатационные расходы.

Главный вопрос: сможет ли новая архитектура масштабироваться

Идея Fractile отражает более широкую тенденцию в индустрии: по мере перехода ИИ из лабораторий в реальные продукты эффективность inference становится столь же важной, как и обучение моделей.

Однако ключевые показатели производительности, заявленные компанией, пока остаются целями, а не подтверждёнными результатами. Создание новой архитектуры чипов, способной конкурировать с огромной экосистемой GPU, — крайне сложная задача.

Тем не менее размер инвестиций и растущий интерес венчурных фондов к hardware‑решениям для inference показывают, что многие в отрасли считают: следующий прорыв в ИИ может прийти не от ещё более крупных моделей, а от более быстрых способов их запускать.