OpenSearch-VL de Tencent: cómo funciona su receta abierta para agentes de búsqueda con imágenes

En lugar de quedarse con los píxeles visibles de una sola imagen, OpenSearch-VL está pensado para un bucle de herramientas. El artículo describe agentes que pueden llamar a búsqueda web, búsqueda inversa de imágenes, OCR —reconocimiento óptico de caracteres—, recorte, mejora de nitidez, superresolución y corrección de perspectiva .

Eso importa porque muchas consultas visuales reales contienen pistas incompletas: texto pequeño, una señal cortada, un monumento visto desde un ángulo raro o un objeto que necesita confirmación externa. En el planteamiento de OpenSearch-VL, el agente puede decidir si conviene ampliar una zona, leer texto, buscar una imagen similar o consultar la web, y después integrar ese resultado en los siguientes pasos de razonamiento .

La receta: SFT, aprendizaje por refuerzo y fallos de herramientas

El paper incluye dos conjuntos de trayectorias: SearchVL-SFT, con 36.000 trayectorias para ajuste fino supervisado, y SearchVL-RL, con 8.000 trayectorias para aprendizaje por refuerzo . También introduce Multi-round Fault-Aware GRPO, un método de entrenamiento orientado a trayectorias de varias rondas en las que una acción intermedia puede fallar, ayudar solo parcialmente o requerir corrección .

La palabra clave aquí es “trayectoria”. Un agente de búsqueda multimodal no solo debe saber qué hay en una imagen; debe aprender cuándo buscar, cuándo transformar la imagen, cuándo usar OCR y cuándo dejar de recopilar evidencias. OpenSearch-VL convierte esas decisiones en ejemplos entrenables, en vez de tratar el uso de herramientas como una caja negra .

Qué rendimiento promete, y qué conviene tomar con cautela

La afirmación de rendimiento más llamativa es que el paper reporta una mejora media de más de 10 puntos porcentuales en siete benchmarks de búsqueda profunda multimodal, además de resultados comparables con modelos comerciales cerrados líderes en algunas tareas .

Pero eso no equivale a decir que OpenSearch-VL ya tenga paridad de producto con sistemas de OpenAI o Google. La evidencia disponible procede del propio artículo académico y de la cobertura de lanzamiento, no de una reproducción independiente ni de una auditoría pública, caso por caso, contra sistemas comerciales en producción .

Por ahora, lo prudente es leerlo como una contribución prometedora y técnicamente útil, pero todavía preliminar en aspectos como fiabilidad en uso real, latencia, seguridad, recuperación ante errores largos y comportamiento fuera de los benchmarks.

Comparación con OpenAI y Google: la diferencia verificable es la apertura

Para quien compare OpenSearch-VL con sistemas propietarios de OpenAI y Google, el punto más sólido no es “ya los supera”, sino “permite mirar bajo el capó”. OpenSearch-VL se presenta como una receta abierta de entrenamiento para agentes multimodales, mientras que los materiales citados no ofrecen pilas de entrenamiento equivalentes para esos productos comerciales cerrados .

Esa transparencia puede ser especialmente valiosa para investigadores y desarrolladores que quieran inspeccionar cómo se construyen las trayectorias, cómo se orquestan las herramientas y dónde fallan los razonamientos visuales de varios pasos. Sus cifras de benchmark lo colocan como un competidor abierto serio, pero aún no cierran el debate sobre el rendimiento frente a sistemas propietarios en entornos reales .

Qué mirar a partir de ahora

Las pruebas importantes vendrán fuera del anuncio: si equipos externos logran reproducir los resultados, si la receta funciona en dominios distintos a los evaluados en el paper y si los agentes entrenados con este enfoque manejan bien errores de herramientas en búsquedas largas.

Hasta entonces, la mayor aportación de OpenSearch-VL es la transparencia. Ofrece a la comunidad de IA una receta concreta para construir agentes de búsqueda multimodal y una base más clara para medir si los sistemas abiertos pueden reducir la brecha con los productos propietarios de búsqueda con IA .