針對Meta Llama、Google Gemma等開源大模型嘅越獄攻擊,成功率高達近100%,只要用多回合「車輪戰」,成功率比單次攻擊高出2到10倍。 歐盟《AI法案》針對通用AI嘅條文已全面執行,仲已經對大型平台展開「系統性風險」調查,罰款最高可達全球年營業額嘅7%。

Create a landscape editorial hero image for this Studio Global article: How vulnerable are the safety guardrails on widely deployed open-weight AI models like Meta's Llama and Google's Gemma, and what do recent i. Article summary: The safety guardrails on widely deployed open-weight models like Meta's Llama and Google's Gemma are **highly vulnerable** to systematic jailbreak. Multiple recent academic studies and industry investigations show that c. Topic tags: general, academic, general web, user generated, government. Reference image context from search candidates: Reference image 1: visual subject "A report cover featuring a colorful visualization of data flows from open-source AI models like Meta's Llama and Google's Gemma, highlighting safety concerns related to guardrails" Reference image 2: visual subject "A digital illustration features a stylized kangaroo outline with circuit-lik
證據確鑿,而且相當得人驚。截至2026年初,多份學術研究同業界安全報告都指出,目前廣泛應用嘅開源權重(Open-Weight)大模型,其安全護欄根本上係系統性嘅脆弱。無論係適應性攻擊、多輪對話,定係單純嘅微調,都可以輕而易舉咁繞過安全對齊,成功率仲要接近100%。對於喺歐洲自行架設呢啲模型嚟服務歐盟用戶嘅公司,而家係真正要面對《歐盟人工智能法案》(EU AI Act)嘅監管鐵拳喇。
啲數字真係嚇死人。一份喺2025年國際學習表徵會議(ICLR)發表嘅研究顯示,只要用簡單嘅適應性越獄手法,經GPT-4評判,針對 Llama-2-Chat(70億、130億同700億參數版本)、Gemma-7B 等主流安全對齊模型嘅攻擊成功率達到 100% 。另一份喺神經信息處理系統大會(NeurIPS)發表嘅論文,用咗一種叫「自適應稠密到稀疏約束優化」(ADC)嘅技術,喺8個開源模型入面,有7個都錄得最高嘅攻擊成功率
。
現實世界嘅漏洞更加得人驚,只要攻擊者用多輪對話「車輪戰」。思科(Cisco)嘅AI防禦團隊測試咗8個開源權重模型,發現多輪越獄攻擊嘅成功率喺 25.86% 到 92.78% 之間——比起單輪攻擊高出 2到10倍 。受影響嘅模型包括 Llama 3.3 70B、Gemma 1B 等等
。研究員嘅結論係:目前嘅開源權重模型「喺長時間互動中維持安全護欄嘅能力出現咗系統性缺陷」
。
就連一啲出於好意嘅微調(Fine-tuning),都可以徹底摧毀安全防線。有研究發現,只要將少量唔安全嘅數據混入良性微調數據集,就會大幅削弱護欄 。另一篇論文更證實,無論係開源權重嘅微調,定係通過API進行嘅封閉式微調,都可以產生完全冇晒安全保護嘅模型
。
近期紀錄咗幾種攻擊方法,證明咗要越獄真係愈嚟愈易。
「扮乖」攻擊(Sockpuppeting):呢招會喺助手角色嘅預設回覆入面,注入一個假嘅「我接受」嘅開頭,利用模型傾向保持前後一致嘅特性嚟繞過安全訓練。呢種攻擊唔使優化(Optimization)、唔使攞模型權重、亦唔使任何專業工具——只要對方嘅API支援助手預填(Assistant Prefill)就可以。喺2026年4月嘅測試入面,所有接受預填嘅模型都至少有部分漏洞被攻破,包括 GPT-4o、Claude 4 Sonnet 同 Gemini 2.5 Flash 。
論文衍生攻擊(Paper-derived Attacks):呢個仲恐怖,係一種元漏洞(Meta-vulnerability)。2026年有研究發現,直接攞已發表嘅LLM安全論文內容做提示詞(Prompt),對住經過嚴格對齊嘅模型(包括 Claude 3.5 Sonnet 呢類封閉權重模型)發動攻擊,成功率竟然高達 97% 到 98% 。
安全引導反效果(Safety Steering Amplification):即係本來想改善安全性嘅技術,反而幫倒忙。研究發現,為咗減少模型對良性查詢「過度拒絕」而喺推理階段進行嘅激活引導(Activation Steering),竟然會唔覺意放大咗 Llama 3.1 8B 同 Gemma 2 2B 呢類模型嘅越獄漏洞 。
推理護欄顛覆(Reasoning Guardrail Subversion):呢個係最令人擔心嘅新攻擊面之一。2026年3月嘅研究發現,只要喺輸入提示詞度加幾個模板令牌(Template Tokens),就可以騎劫嗰啲基於推理嘅安全護欄。而且護欄一被人攻破之後,產生出嚟嘅有害內容,仲多過嗰啲冇裝護欄嘅模型 。
《歐盟人工智能法案》入面針對通用人工智能(GPAI)嘅規則,已經喺2025年8月生效 。任何訓練計算量超過 10嘅25次方浮點運算次數(FLOPs)——呢個門檻涵蓋咗 Llama 4.2 Ultra 以及市場上所有主流商業模型——都會被歸類為帶有系統性風險
。
對企業嚟講,影響係即刻嘅:
雖然有開源豁免,但限制好清晰。以自由同開放源碼許可證發布、而且冇通過模型賺錢嘅模型,大部分可以免於最嚴格嘅責任 ,不過一旦模型構成系統性風險,豁免即刻失效
。Meta嘅Llama社群許可證,已經被歐盟指明唔符合開源豁免資格
。
執法唔係得個講字。2026年初,歐盟已經對包括Meta在內嘅大型平台,展開咗高風險嘅系統性風險調查,要求佢哋要史無前例咁透明咁公開訓練數據集同安全護欄設計 。
呢種脆弱性嘅證據,正喺度推動市場要求更強嘅安全改造。2025年有研究展示咗,只要用僅僅 2,000個安全樣本 嚟訓練——成本大約係 3蚊美金(約23港元)俾80億參數模型,或者20蚊美金(約156港元)俾720億參數模型——就可以將攻擊成功率降低10%到30%。改造之後,最成功嘅攻擊手法,成功率都跌到大約得返5% 。
從經濟角度睇,低成本改造絕對可行,但偏偏仲未成為開源權重生態圈嘅標準做法。隨住監管壓力愈來愈大,攻擊手法愈來愈精密,嗰啲喺生產環境部署呢啲模型嘅公司,好快就會發現,跳過嗰份只係值廿蚊美金嘅「保險」,代價可能會好大好大。
Studio Global AI
Use this topic as a starting point for a fresh source-backed answer, then compare citations before you share it.
針對Meta Llama、Google Gemma等開源大模型嘅越獄攻擊,成功率高達近100%,只要用多回合「車輪戰」,成功率比單次攻擊高出2到10倍。
針對Meta Llama、Google Gemma等開源大模型嘅越獄攻擊,成功率高達近100%,只要用多回合「車輪戰」,成功率比單次攻擊高出2到10倍。 歐盟《AI法案》針對通用AI嘅條文已全面執行,仲已經對大型平台展開「系統性風險」調查,罰款最高可達全球年營業額嘅7%。
原來只要使幾廿蚊美金、用2,000個安全樣本做「回爐重造」,就可以降低10至30%攻擊成功率,偏偏業界仲未普遍採用。