OpenSearch-VL expliqué : la recette open source de Tencent pour la recherche multimodale

Une IA qui ne se contente pas de regarder l’image

Un modèle vision-langage classique peut décrire une photo ou répondre à une question à partir de ce qui est visible. OpenSearch-VL vise autre chose : une boucle d’agent capable de décider quand il doit utiliser un outil.

Le papier décrit des agents pouvant appeler la recherche web, la recherche inversée d’image, l’OCR — la reconnaissance optique de caractères —, le recadrage, l’accentuation, la super-résolution et la correction de perspective .

C’est crucial pour les tâches de recherche visuelle. Une image peut contenir un panneau flou, un monument partiellement coupé, un objet photographié sous un angle trompeur ou un détail qui ne prend sens qu’avec une vérification externe. Dans l’approche OpenSearch-VL, le modèle peut déterminer quelle preuve lui manque, appliquer un outil de récupération ou de traitement d’image, puis réinjecter le résultat dans les étapes suivantes de son raisonnement .

La recette d’entraînement : SFT, RL et gestion des erreurs

Le projet met l’accent sur les « trajectoires », c’est-à-dire les suites d’actions que l’agent apprend à suivre : quand chercher, quand améliorer l’image, quand lire du texte, quand corriger une piste et quand s’arrêter.

Le papier présente deux jeux de données : SearchVL-SFT, avec 36 000 trajectoires pour l’affinage supervisé, et SearchVL-RL, avec 8 000 trajectoires pour l’apprentissage par renforcement . Il introduit aussi Multi-round Fault-Aware GRPO, une méthode d’entraînement pensée pour les parcours en plusieurs étapes où une action intermédiaire peut échouer, n’aider qu’en partie ou exiger une correction .

L’intérêt est là : un agent de recherche multimodale ne doit pas seulement reconnaître ce qui se trouve dans une image. Il doit apprendre à gérer l’incertitude, à choisir le bon outil et à ne pas confondre un résultat partiel avec une réponse définitive.

Des résultats prometteurs, mais pas encore une preuve de parité produit

La revendication de performance est ambitieuse. Les auteurs rapportent une amélioration moyenne de plus de 10 points de pourcentage sur sept benchmarks de recherche multimodale profonde, et indiquent qu’OpenSearch-VL est comparable à des modèles commerciaux fermés de premier plan sur certaines tâches .

Mais cela ne signifie pas que le système a déjà prouvé une équivalence complète avec les produits d’OpenAI ou de Google en conditions réelles. Les éléments disponibles ici viennent du papier des auteurs et de la couverture de lancement, pas d’une reproduction indépendante ni d’un audit public strictement comparable de systèmes en production .

Autrement dit, OpenSearch-VL est une proposition technique sérieuse, mais encore préliminaire sur des aspects très concrets : fiabilité au long cours, latence, robustesse face aux erreurs d’outils, comportement de sécurité et capacité à récupérer après plusieurs mauvaises pistes.

Face à OpenAI et Google, la différence la plus nette est l’ouverture

Pour les lecteurs qui comparent OpenSearch-VL aux systèmes propriétaires d’OpenAI et de Google, le point le mieux établi n’est pas un score isolé : c’est la transparence. OpenSearch-VL est présenté comme une recette ouverte pour entraîner des agents de recherche multimodale, tandis que les documents cités ici ne fournissent pas de pile d’entraînement équivalente pour ces produits commerciaux fermés .

C’est précisément ce qui peut intéresser les laboratoires, développeurs et équipes produit : observer comment les trajectoires d’usage d’outils sont construites, comment l’apprentissage par renforcement est appliqué, et où les raisonnements visuels en plusieurs étapes ont tendance à échouer.

Ce qu’il faudra surveiller maintenant

Les prochains tests importants seront moins spectaculaires que les annonces, mais plus décisifs : des équipes externes parviendront-elles à reproduire les résultats annoncés ? La méthode fonctionnera-t-elle dans des domaines qui ne ressemblent pas aux benchmarks du papier ? Les agents entraînés avec cette recette sauront-ils gérer proprement les outils défaillants ou les indices contradictoires dans des recherches longues ?

En attendant, la principale contribution d’OpenSearch-VL est la lisibilité. Le projet donne à la communauté IA une base ouverte pour expérimenter les agents de recherche multimodale — et une manière plus concrète de mesurer si les approches ouvertes peuvent réduire l’écart avec les systèmes propriétaires .