OpenSearch-VL explicado: a aposta aberta da Tencent para agentes de busca multimodais

Como o agente pesquisa usando imagens

Um modelo de visão e linguagem tradicional pode descrever uma imagem ou responder com base no que aparece nos pixels. O OpenSearch-VL, por outro lado, foi desenhado para operar em um ciclo de ferramentas. O artigo descreve agentes capazes de chamar busca na web, busca reversa de imagens, OCR — reconhecimento óptico de caracteres —, recorte, aumento de nitidez, super-resolução e correção de perspectiva .

Isso é relevante porque muitas buscas visuais dependem de pistas incompletas: um texto pequeno em uma placa, um objeto visto de um ângulo ruim, um ponto turístico parcialmente cortado ou um detalhe que precisa ser confirmado fora da imagem. No desenho do OpenSearch-VL, o modelo pode decidir qual evidência está faltando, aplicar uma ferramenta de recuperação ou processamento de imagem e incorporar o resultado nas próximas etapas de raciocínio .

A receita de treinamento: SFT, RL e falhas no uso de ferramentas

O artigo inclui dois conjuntos de trajetórias: SearchVL-SFT, com 36 mil trajetórias para ajuste fino supervisionado, e SearchVL-RL, com 8 mil trajetórias para aprendizado por reforço . Ele também apresenta o método Multi-round Fault-Aware GRPO, pensado para trajetórias de uso de ferramentas em várias rodadas, nas quais ações intermediárias podem falhar, ajudar apenas parcialmente ou exigir correção .

A ênfase em trajetórias é importante. Um agente de busca multimodal não precisa apenas reconhecer o que há em uma imagem; ele precisa aprender quando pesquisar, quando transformar a imagem, quando ler texto com OCR e quando parar de coletar evidências. O OpenSearch-VL transforma essas decisões em exemplos treináveis, em vez de deixar o uso de ferramentas como algo implícito .

Desempenho reportado — com uma ressalva importante

A principal alegação de desempenho é forte: o artigo relata uma melhora média de mais de 10 pontos percentuais em sete benchmarks de busca profunda multimodal e diz que o OpenSearch-VL é comparável a modelos comerciais fechados de ponta em algumas tarefas .

Isso, porém, não é o mesmo que provar paridade de produto com sistemas da OpenAI ou do Google. A evidência disponível vem do artigo dos autores e de cobertura de lançamento, não de uma reprodução independente nem de uma auditoria pública, lado a lado, de sistemas em produção . Por enquanto, o caso do OpenSearch-VL deve ser lido como promissor e tecnicamente útil, mas ainda preliminar quando o assunto é confiabilidade no mundo real, latência, comportamento de segurança e recuperação de falhas em buscas longas.

Como ele se compara a sistemas proprietários da OpenAI e do Google

Para quem compara o OpenSearch-VL com sistemas proprietários da OpenAI e do Google, a diferença confirmada mais clara é a abertura. O OpenSearch-VL é apresentado como uma receita aberta e um esquema de treinamento open-source; os materiais citados não oferecem uma pilha de treinamento equivalente para esses produtos comerciais fechados .

Isso torna o OpenSearch-VL especialmente relevante para pesquisadores e desenvolvedores que querem examinar como agentes de busca multimodal são treinados, como trajetórias de uso de ferramentas são construídas e onde o raciocínio visual em múltiplas etapas falha. As alegações de benchmark fazem dele um desafiante aberto importante, mas as evidências públicas ainda não resolvem se ele iguala sistemas fechados em ambientes reais de produção .

O que acompanhar daqui para frente

Os próximos testes realmente importantes serão práticos: se pesquisadores externos conseguem reproduzir os resultados de benchmark, se a receita funciona em domínios além do conjunto avaliado no artigo e se agentes treinados dessa forma lidam bem com erros de ferramentas em buscas mais longas.

Até lá, a maior contribuição do OpenSearch-VL é a transparência. Ele dá à comunidade de IA uma receita concreta para construir agentes de busca multimodal — e um caminho mais claro para testar se sistemas abertos conseguem diminuir a distância para produtos proprietários de busca com IA .