腾讯 OpenSearch-VL 是什么：让 AI 学会看图、查证和多步推理

腾讯这次推出的 OpenSearch-VL，更准确地说是一套“训练配方”，而不是面向普通用户的聊天机器人。它的目标是让视觉语言模型不只会根据一张图片作答，还能在信息不够时主动查找证据、调用工具，并把多轮结果串起来推理 。

arXiv 页面显示，相关论文于 2026 年 5 月 6 日提交；发布报道则称，腾讯混元与加州大学洛杉矶分校（UCLA）、香港中文大学等机构合作推出了这一项目 。

它要解决的核心问题：从“看图回答”到“主动查证”

过去很多视觉语言模型的典型能力，是看一张图，然后回答“图里有什么”“这是什么物体”“图片表达了什么”。但在真实搜索场景里，图片往往只给出一部分线索：文字可能很小，标志物可能被裁掉，拍摄角度可能不正，或者图片中的视觉线索需要外部网页来交叉验证。

OpenSearch-VL 瞄准的正是这个可复现性难题。早期报道把多模态大语言模型（MLLM）的下一阶段挑战概括为：从“被动理解图像”转向“主动寻找证据并推理”；同时指出，高质量轨迹数据、自动化合成路径和细致训练方案不足，是复现高水平多模态搜索智能体的瓶颈 。

OpenSearch-VL 的回答，是把数据、工具编排、监督微调、强化学习和评测方法整合成一套相对明确的开源方案，围绕“多模态深度搜索”来训练智能体 。

这个智能体怎么搜：不只是识别图片，还会调用工具

在 OpenSearch-VL 的设定里，模型不是只盯着图片像素“硬猜”。论文描述的智能体可以调用一系列外部工具，包括网页搜索、反向图片搜索、OCR 文字识别、图像裁剪、锐化、超分辨率和透视校正等 。

这意味着，当模型发现证据不足时，可以先判断缺了什么，再选择合适工具。例如：

• 图片里有一段很小或模糊的文字，可以尝试 OCR 或图像增强；
• 画面只露出某个建筑、商品或地标的一角，可以用裁剪或反向图片搜索补线索；
• 拍摄角度导致文字或图案变形，可以用透视校正后再识别。

关键不在于某一个工具有多新，而在于模型要学会“什么时候该用什么工具”。OpenSearch-VL 将这类检索、图像处理和后续推理步骤放进同一个训练循环，让模型把外部证据纳入后续判断 。

训练配方：SFT、RL，以及能处理失败步骤的工具使用

论文中包含两类轨迹数据集：SearchVL-SFT 包含 36,000 条监督微调轨迹，SearchVL-RL 包含 8,000 条强化学习轨迹 。

这里的“轨迹”可以理解为智能体完成任务时的一串行动记录：先看到了什么、决定搜索什么、调用了哪个工具、工具结果是否有用、下一步如何修正，直到给出答案。对于多模态搜索智能体来说，会识别图片只是起点，更难的是学会搜索策略。

OpenSearch-VL 还提出了 Multi-round Fault-Aware GRPO。按照论文描述，这一训练方法面向多轮工具使用场景：中间步骤可能失败、只提供部分帮助，或者需要模型自行纠错 。这点很重要，因为真实搜索并不总是“一搜就中”。一个可靠的智能体需要知道什么时候继续查、什么时候换工具、什么时候停止收集证据。

性能表现：论文数据很亮眼，但要看清边界

论文给出的核心性能主张相当积极：OpenSearch-VL 在七个多模态深度搜索基准上的平均表现提升超过 10 个百分点，并称其在部分任务上可与领先的闭源商业模型相当 。

但这不等于它已经在产品体验上全面追平 OpenAI 或 Google 的系统。就目前可核验材料而言，主要依据仍是作者论文和发布报道，而不是第三方独立复现，或对生产级系统进行公开、同条件的横向审计 。

因此，更稳妥的判断是：OpenSearch-VL 是一个很有技术参考价值的开放方案，但它在真实场景中的稳定性、延迟、安全表现，以及长链路任务中的失败恢复能力，还需要更多外部验证。

和 OpenAI、Google 的闭源系统相比，真正差异在哪里？

如果把 OpenSearch-VL 与 OpenAI、Google 的专有多模态搜索或研究类系统相比，眼下最明确的差异不是“谁已经彻底赢了”，而是开放程度。

OpenSearch-VL 被定位为开源训练方案，强调公开智能体如何训练、工具使用轨迹如何构造、以及多步视觉推理如何评测 。相比之下，现有公开材料并没有展示 OpenAI、Google 闭源商业产品的等价训练栈。

这使得 OpenSearch-VL 对研究者和开发者尤其有吸引力：他们可以围绕训练流程、数据轨迹、工具调度和失败案例做进一步实验。它的基准结果让它成为一个值得关注的开放挑战者，但现阶段还不能把论文中的“部分任务可比”直接理解为生产环境中的全面对等 。

接下来最值得关注什么？

OpenSearch-VL 后续要经受的考验，主要会来自三个方面：

1. 外部研究者能否复现论文报告的基准结果；
2. 这套训练配方能否迁移到论文评测集之外的更多领域；
3. 在更长、更复杂的真实搜索链路中，模型能否可靠处理工具失败、错误检索和证据冲突。

在这些答案出现之前，OpenSearch-VL 最大的价值是“把做法摊开”。它为多模态搜索智能体提供了一套具体的开放训练路径，也让业界更容易检验：开源系统究竟能在多大程度上逼近闭源 AI 搜索产品 。