針對 Meta Llama 與 Google Gemma 等開源模型的越獄攻擊成功率逼近 100%,多輪對話攻擊的威力竟是單輪的 2 到 10 倍。 歐盟《人工智慧法》通用 AI 規則已正式執法,並對主要平台展開系統性風險調查。 只需 2,000 筆安全樣本的低成本修補技術,就能降低 10% 至 30% 的攻擊成功率,但業界仍未普遍採用。

Create a landscape editorial hero image for this Studio Global article: How vulnerable are the safety guardrails on widely deployed open-weight AI models like Meta's Llama and Google's Gemma, and what do recent i. Article summary: The safety guardrails on widely deployed open-weight models like Meta's Llama and Google's Gemma are **highly vulnerable** to systematic jailbreak. Multiple recent academic studies and industry investigations show that c. Topic tags: general, academic, general web, user generated, government. Reference image context from search candidates: Reference image 1: visual subject "A report cover featuring a colorful visualization of data flows from open-source AI models like Meta's Llama and Google's Gemma, highlighting safety concerns related to guardrails" Reference image 2: visual subject "A digital illustration features a stylized kangaroo outline with circuit-lik
證據確鑿,而且令人震驚。截至 2026 年初發表的學術研究與業界安全評估均顯示,當前廣泛部署的開放權重模型,其安全護欄存在系統性的脆弱。適應性、多輪對話、以及基於微調的攻擊手法,都能以近乎 100% 的成功率繞過其對齊機制。對於那些自行託管這些模型並服務歐盟使用者的公司而言,現在正面臨《歐盟人工智慧法》(EU AI Act)的具體監管風險。
整體數據慘不忍睹。一篇發表於 ICLR 2025 的論文顯示,透過簡單的適應性技巧,經 GPT-4 語意判斷,其對 Llama-2-Chat(70 億、130 億和 700 億參數版本)、Gemma-7B 等頂尖安全對齊模型的攻擊成功率達到 100% 。另一篇在 NeurIPS 上發表的論文,其團隊使用自適應稠密到稀疏約束優化(ADC)方法,在 8 個測試的開源模型中,於 7 個模型上取得了最高的攻擊成功率
。
當攻擊者使用多輪對話後,現實世界的脆弱性進一步加劇。思科 AI Defense 測試了 8 個開源模型,發現多輪越獄的成功率介於 25.86% 至 92.78% 之間,比單輪基準高出 2 到 10 倍 。這些受影響的模型包括 Llama 3.3 70B、Gemma 1B 等
。研究人員得出結論,這表明了「當前開源模型在長時間互動中維持安全護欄的系統性無能」
。
即使是出於善意用途的微調,也可能徹底摧毀安全對齊。一項研究顯示,在良性的微調數據中混入少量不安全數據,就會顯著削弱護欄 。另一篇論文則證實,無論是透過開源權重微調,還是封閉的微調 API,都可能產生安全防護完全被移除的模型
。
近期有幾種被記錄下來的技術,證明了越獄已變得何等輕而易舉。
假冒應聲蟲(Sockpuppeting) 這項技術會將一個偽造的「接受」注入助理模型的預填回覆中,利用模型追求前後一致的特性來繞過安全訓練。它不需要優化、不需要模型權重,也不需要專門的工具,僅需一個支援助理預填功能的 API 存取權限。在 2026 年 4 月的測試中,「每個接受預填機制的模型都至少存在部分漏洞」,包含 GPT-4o、Claude 4 Sonnet 和 Gemini 2.5 Flash 。
論文衍生攻擊 這是一種令人震驚的後設漏洞。2026 年的一項研究發現,使用已公開發表的 LLM 安全論文中擷取的內容作為提示詞,對包括 Claude 3.5 Sonnet 等封閉模型在內的先進模型,達到了 97% 至 98% 的攻擊成功率 。
安全引導放大 說明了旨在改善安全的技術如何產生反效果。研究發現,原本用於減少對良性查詢「過度拒答」的推理階段激活引導技術,卻在不經意間放大了 Llama 3.1 8B 和 Gemma 2 2B 等模型的越獄漏洞 。
推理護欄顛覆 這是最令人擔憂的新攻擊途徑之一。2026 年 3 月的一項研究發現,只需在輸入提示中新增幾個模板令牌,就能劫持基於推理的安全護欄。一旦遭入侵,這些推理系統生成的惡意輸出甚至比沒有此類護欄的模型更為嚴重 。
歐盟《人工智慧法》中的通用人工智慧(GPAI)規則已於 2025 年 8 月正式生效 。任何訓練運算量超過 10²⁵ 次浮點運算(FLOPs) 的模型,此門檻涵蓋了 Llama 4.2 Ultra 及所有主流商業模型,都將被歸類為具有系統性風險
。
對企業的影響迫在眉睫:
開源免責條款雖然存在,但有明確限制。以自由且開源授權釋出且未用於貨幣化的模型,大致上不在最嚴格義務的管轄範圍內 。但一旦模型構成系統性風險,此豁免權將立即失效
。歐盟在 2026 年 5 月的修訂中重申了這項界限
。而 Meta 的 Llama 社群授權已被點名不符合開源豁免的資格
。
現在執法已是現在進行式,而非理論。2026 年初,歐盟針對包含 Meta 在內的主要平台,啟動了代價高昂的系統性風險調查,要求其對訓練資料集和安全護欄提供前所未有的透明度 。
漏洞的事實證據正助長著強化安全修補的市場壓力。一項 2025 年的研究證明,只需使用 2,000 筆安全樣本 進行訓練,花費約 80 億參數模型 3 美元、720 億參數模型 20 美元 的成本,就能將攻擊成功率降低 10% 至 30%。經過修補後,最成功的攻擊手法其成功率也被壓低至 5% 左右 。
從經濟角度來看,低成本修補是可行的,但這尚未成為開源生態系的標準作法。隨著監管壓力攀升和攻擊手法日益精進,將這些模型部署到生產環境的企業可能會發現,這份「20 美元的保險」越來越難有理由不加保。
Studio Global AI
Use this topic as a starting point for a fresh source-backed answer, then compare citations before you share it.
針對 Meta Llama 與 Google Gemma 等開源模型的越獄攻擊成功率逼近 100%,多輪對話攻擊的威力竟是單輪的 2 到 10 倍。
針對 Meta Llama 與 Google Gemma 等開源模型的越獄攻擊成功率逼近 100%,多輪對話攻擊的威力竟是單輪的 2 到 10 倍。 歐盟《人工智慧法》通用 AI 規則已正式執法,並對主要平台展開系統性風險調查。
只需 2,000 筆安全樣本的低成本修補技術,就能降低 10% 至 30% 的攻擊成功率,但業界仍未普遍採用。