Comment Fractile veut résoudre le goulot d’étranglement de l’inférence en IA

Pourquoi l’inférence devient le nouveau goulot d’étranglement

La plupart des infrastructures actuelles de l’IA ont été optimisées pour l’entraînement des modèles — un processus extrêmement gourmand en calcul. Les GPU, notamment ceux de Nvidia, excellent dans ce domaine grâce à leur capacité à effectuer des opérations mathématiques massivement parallèles.

Mais une fois le modèle entraîné et déployé, le problème change. Le système doit générer des réponses en continu, token par token, en fonction des requêtes des utilisateurs.

Dans cette phase d’inférence, la contrainte principale n’est plus seulement la puissance de calcul : la bande passante mémoire et la latence deviennent déterminantes. Les modèles doivent lire en permanence d’énormes volumes de paramètres et de données intermédiaires pendant la génération de texte. Si les données ne circulent pas assez vite entre mémoire et processeur, les unités de calcul restent sous‑utilisées.

Ce phénomène s’accentue avec l’évolution des modèles dits frontier :

• les réponses générées sont plus longues et plus complexes
• les fenêtres de contexte (la quantité de texte que le modèle peut prendre en compte) deviennent beaucoup plus grandes
• les nouveaux modèles de raisonnement effectuent plusieurs étapes internes avant de produire une réponse

Certains de ces workloads peuvent déjà nécessiter des dizaines de millions de tokens par tâche, ce qui rend la vitesse de génération et l’accès à la mémoire critiques.

La thèse de Fractile est donc claire : la latence d’inférence pourrait bientôt devenir la principale limite des systèmes d’IA avancés, bien avant la capacité des modèles eux‑mêmes.

L’approche de Fractile : calculer directement dans la mémoire

Pour répondre à ce problème, Fractile développe des puces basées sur une approche appelée in‑memory compute (calcul dans la mémoire ou proche de la mémoire).

Dans les accélérateurs d’IA traditionnels, les cœurs de calcul et la mémoire — par exemple la mémoire HBM — sont séparés. Les données doivent donc constamment circuler entre ces deux composants, ce qui consomme du temps et de l’énergie.

L’architecture de Fractile cherche à inverser cette logique : une grande partie des opérations du modèle est effectuée directement là où les données sont stockées.

Cette conception repose notamment sur :

• l’intégration du calcul et de la mémoire sur une même puce
• l’exécution d’opérations de modèle à l’intérieur des structures mémoire
• la réduction des transferts entre mémoire externe et unités de calcul

En limitant ces allers‑retours de données, le système pourrait améliorer la latence, l’efficacité énergétique et le coût par requête, trois facteurs essentiels pour les infrastructures d’IA à grande échelle.

L’entreprise affirme que son architecture pourrait permettre d’exécuter l’inférence de modèles avancés jusqu’à 25 fois plus vite et à environ un dixième du coût des solutions actuelles. Des objectifs plus anciens évoquaient même jusqu’à 100 fois plus rapide et 10 fois moins cher dans certains cas — des performances qui restent toutefois des estimations internes et non des résultats validés publiquement.

À quoi serviront les 220 millions levés

Le tour de financement de 220 millions de dollars a été mené par Accel, Factorial Funds et Founders Fund, avec la participation de Conviction, Gigascale Capital, O1A Ventures, Felicis, Buckley Ventures et 8VC.

Fractile prévoit d’utiliser ces fonds pour :

• accélérer le développement de son architecture de puce dédiée à l’inférence
• rapprocher ses premiers systèmes matériels de la production
• étendre ses équipes d’ingénierie au Royaume‑Uni, aux États‑Unis et à Taïwan

La société a été fondée en 2022 par l’ingénieur Walter Goodwin, formé à l’Université d’Oxford. L’objectif est de livrer ses premiers systèmes commerciaux aux clients dans la seconde moitié de la décennie.

Des discussions préliminaires auraient également eu lieu avec certaines entreprises d’IA, dont Anthropic, intéressées par cette technologie pour leurs futurs centres de calcul — même si aucun accord commercial n’a été confirmé à ce stade.

Les nouveaux usages que pourrait permettre une inférence beaucoup plus rapide

Si Fractile — ou d’autres architectures similaires — parvient réellement à accélérer l’inférence, plusieurs nouveaux types d’applications pourraient se développer.

1. Des modèles de raisonnement beaucoup plus gourmands en calcul

Les modèles récents explorent parfois plusieurs pistes de solution, vérifient leurs réponses et exécutent des étapes intermédiaires. Une inférence plus rapide permettrait d’augmenter ce qu’on appelle le "test‑time compute", c’est‑à‑dire la quantité de calcul utilisée au moment de produire une réponse.

2. Des assistants IA réellement en temps réel

Pour les interfaces conversationnelles, quelques centaines de millisecondes de latence peuvent faire la différence. Des puces plus rapides pourraient rendre les assistants plus fluides et proches d’une conversation humaine.

3. Des agents autonomes

Les systèmes d’IA dits agentiques enchaînent souvent de nombreuses étapes : appels à des outils, génération de code, planification ou boucles de raisonnement. Ces tâches peuvent consommer des millions de tokens, ce qui rend la vitesse d’inférence déterminante.

4. L’IA d’entreprise à très grande échelle

Les entreprises qui exploitent des copilotes, des agents de support client ou des API de modèles doivent gérer un débit massif de requêtes. Réduire le coût par token pourrait transformer l’économie de ces services.

Le défi majeur : passer du concept à l’échelle industrielle

L’approche de Fractile s’inscrit dans une tendance plus large : à mesure que l’IA passe du laboratoire à l’usage quotidien, l’efficacité de l’inférence devient aussi importante que la puissance d’entraînement.

Mais construire une nouvelle architecture de puce capable de rivaliser avec l’écosystème GPU — aujourd’hui dominé par Nvidia — est un défi colossal. Les performances annoncées par la startup restent pour l’instant des objectifs technologiques plutôt que des benchmarks indépendants.

Cela n’empêche pas les investisseurs de s’y intéresser fortement. La taille de ce financement montre qu’une partie de l’industrie parie déjà sur une idée simple : les prochaines grandes avancées de l’IA pourraient venir non pas de modèles plus grands, mais de moyens plus rapides et moins coûteux de les faire tourner.