OpenSearch VL 是騰訊混元等團隊推出的開源多模態搜尋智能體訓練配方,論文於 2026 年 5 月 6 日提交 arXiv [18][21]。 框架訓練模型在多步任務中使用網頁搜尋、反向圖片搜尋、OCR、裁剪、銳化、超解像及透視校正等工具 [17]。

Create a landscape editorial hero image for this Studio Global article: Tencent OpenSearch-VL: Open-Source Multimodal Search Agents vs. OpenAI and Google. Article summary: OpenSearch VL is Tencent Hunyuan’s open source recipe for multimodal AI search agents, submitted to arXiv on May 6, 2026; it uses tools such as web search, OCR and image processing, but claims of parity with closed Op.... Topic tags: ai, ai agents, multimodal ai, open source, tencent. Reference image context from search candidates: Reference image 1: visual subject "OpenAI Updates Codex: Supports Mac Desktop Control, Multi-Agent Parallelism, and Long-Term Task Execution" source context "Google: AI Agents, Multimodal AI, and Enterprise Search Will Dominate by 2025" Reference image 2: visual subject "Google Releases Veo3.1Lite: Video Generation Cost Reduced by Over 50% Supports 1080p Multi-Format Output" source context "
如果你以為騰訊今次推出嘅 OpenSearch-VL 係另一個 ChatGPT 式聊天機械人,要先收一收:它更準確係一套 開源訓練配方,用嚟打造可以處理圖片、搜尋網頁、調用工具同多步推理嘅多模態搜尋智能體。重點唔止係「睇圖答問題」,而係令視覺語言模型遇到資料不足時,識得主動搵證據、補線索,再整合成答案 。
arXiv 頁面顯示,OpenSearch-VL 論文於 2026 年 5 月 6 日提交;發布報道就指,項目由騰訊混元(Tencent Hunyuan)聯同 UCLA(加州大學洛杉磯分校)、香港中文大學等合作推出 。
多模態大語言模型近年已經可以描述圖片、回答圖像問題,但要變成真正「會搜尋」嘅智能體,難度高好多。早期報道將下一步挑戰形容為:模型要由被動理解圖片,升級到主動尋找證據同推理;同時指出,高質素工具使用軌跡數據、自動合成路徑,以及完整訓練配方,一直係複現頂尖多模態搜尋智能體嘅瓶頸 。
OpenSearch-VL 嘅做法,就是將數據、工具協調、監督式微調(SFT)、強化學習(RL)同評測方法,包成一個相對清楚嘅開源方案,集中處理「多模態深度搜尋」呢類任務 。
一般視覺語言模型可能只會根據相中見到嘅像素作答;OpenSearch-VL 則設計成一個工具循環。論文描述嘅智能體可以調用網頁搜尋、反向圖片搜尋、OCR 文字辨識、裁剪、銳化、超解像,以及透視校正等工具 。
呢點對圖像搜尋好關鍵。好多圖片入面嘅證據都唔完整:可能係招牌太細、地標被截走一截、物件角度唔啱、相片質素差,或者有啲視覺線索需要外部資料確認。喺 OpenSearch-VL 嘅設定入面,模型要學識判斷「仲缺咩證據」,再決定用搜尋工具、影像處理工具,定係 OCR 去補資料,最後將結果放入下一輪推理 。
論文列出兩套軌跡數據:SearchVL-SFT,包含 36,000 條監督式微調軌跡;以及 SearchVL-RL,包含 8,000 條強化學習軌跡 。OpenSearch-VL 亦提出 Multi-round Fault-Aware GRPO,即多輪、故障感知嘅 GRPO 訓練方法,目標係處理多步工具使用期間可能出現嘅情況:中途操作失敗、只幫到一部分,或者需要修正方向
。
呢度嘅重點係「軌跡」。一個多模態搜尋智能體唔只要知道張相有咩,仲要知道幾時應該搜尋、幾時要裁圖或增強圖片、幾時用 OCR 讀字、幾時已經夠證據可以停。OpenSearch-VL 嘗試將呢啲決策變成可訓練嘅例子,而唔係將工具使用過程收埋喺黑箱入面 。
OpenSearch-VL 最搶眼嘅聲稱係性能提升。論文表示,系統在七個多模態深度搜尋基準上,平均提升超過 10 個百分點,並稱在部分任務上可媲美領先嘅閉源商用模型 。
不過,呢句唔等於已經證明佢喺產品層面同 OpenAI 或 Google 系統全面打成平手。現有公開證據主要來自作者論文同發布報道,未見獨立團隊完成同條件複現,亦未有對生產環境系統作公開、一對一嘅審核 。所以,對 OpenSearch-VL 比較穩陣嘅理解係:技術上有吸引力、對研究有用,但現實使用時嘅穩定性、延遲、安全行為,以及長任務失敗復原能力,仍要再觀察。
如果你係研究員、開發者,或者正評估 AI 搜尋方案,OpenSearch-VL 同 OpenAI、Google 同類閉源商用系統最清楚嘅分別,暫時唔係「邊個一定更勁」,而係 開放程度。OpenSearch-VL 被定位為開源配方同開源訓練方案;相對地,現有引用資料並無披露 OpenAI、Google 閉源商用產品嘅等效訓練堆疊 。
呢種透明度令 OpenSearch-VL 對研究社群特別有價值:大家可以檢視多模態搜尋智能體點樣訓練、工具使用軌跡點樣建立、多步視覺推理會喺邊啲位置出錯。佢嘅基準成績令它成為值得留意嘅開源挑戰者,但公開證據仍未足以判定它已在真實產品場景追上閉源系統 。
接下來最有意思嘅,唔係單靠發布時嘅分數,而係三件事:外部研究者能否複現論文報告嘅基準結果;呢套配方能否適用於評測集以外嘅不同領域;以及用呢種方法訓練出嚟嘅智能體,能否喺更長、更混亂嘅真實搜尋任務入面,可靠處理工具錯誤。
在有更多外部驗證之前,OpenSearch-VL 最大貢獻係透明度。佢俾 AI 社群一個具體、可拆解嘅開源起點,去研究多模態搜尋智能體點樣由「識睇相」走向「識自己搵證據」;亦令大家有更清楚嘅方法,去測試開源系統可否逐步收窄同閉源 AI 搜尋產品之間嘅距離 。
Studio Global AI
Use this topic as a starting point for a fresh source-backed answer, then compare citations before you share it.
OpenSearch VL 是騰訊混元等團隊推出的開源多模態搜尋智能體訓練配方,論文於 2026 年 5 月 6 日提交 arXiv [18][21]。
OpenSearch VL 是騰訊混元等團隊推出的開源多模態搜尋智能體訓練配方,論文於 2026 年 5 月 6 日提交 arXiv [18][21]。 框架訓練模型在多步任務中使用網頁搜尋、反向圖片搜尋、OCR、裁剪、銳化、超解像及透視校正等工具 [17]。
相比 OpenAI、Google 的閉源商用系統,OpenSearch VL 目前最清楚的優勢是透明度和可複現性;產品級表現是否追上仍需獨立驗證 [17][21]。