東擎科技仲喺同一個展覽,同群聯電子(Phison Electronics)展示咗另一個合作成果:示範點樣喺本地運行一個有成120B參數嘅大語言模型,但淨係用咗64GB系統記憶體同85GB嘅aiDAPTIV快取記憶體——同等規模嘅傳統部署方法,記憶體需求足足可以減少大概一半 。雖然呢個示範係針對一般企業AI,而唔係專門做合規,但都顯示咗隨著模型愈來愈大,呢部機喺裝置端做治理工作嘅潛力有幾大。
資策會嘅ASTRA引擎係成個設備嘅靈魂,令佢唔止係一部效能強勁嘅迷你電腦。佢將嚟自歐盟AI法案(EU AI Act)、OWASP LLM十大風險(OWASP LLM Top 10),同埋美國NIST AI風險管理框架(AI RMF) 嘅監管要求,編碼成機器可以執行嘅檢查項目 。以前可能需要花幾個禮拜人手審計嘅嘢,依家只要AI模型一載入或者更新,設備就會自動做一次完整嘅合規掃描。所有檢查都喺本地運行,病人病歷、金融交易或者廠房嘅機密生產數據,完全唔使出街
。
呢個設計針對咗三個用雲端做合規檢查嘅死穴:
呢部設備嘅推出時間好準:歐盟AI法案喺2024年已經正式生效,針對高風險AI系統嘅執法期會由2027年開始分階段實施。一個可以將NIST、OWASP控制項同歐盟規則編碼執行嘅邊緣原生合規工具,為受規管行業提供咗一個「一部機搞掂晒」嘅選擇,呢樣嘢喺市場上仲係好少見。
但係,呢啲主張暫時都仲係建基於早期嘅展示。消息確認咗Computex嘅展示內容同基礎硬件規格,不過獨立嘅效能基準測試、真實環境嘅吞吐量數據,同埋ASTRA引擎點樣同步更新不斷演變嘅法規文本呢啲細節,暫時都未向公眾公開 。受規管嘅企業,應該留意住資策會同東擎科技之後會唔會公布相關認證同第三方測試結果。
對台灣嘅硬件廠商嚟講,呢部設備代表咗一次向價值鏈上游進發嘅重要嘗試——將工業級邊緣運算,同本地自主研發嘅治理知識產權結合埋一齊。如果呢個模式可以成功擴大應用,佢或者會成為其他地區嘅一個藍圖,等佢哋知道點樣喺唔犧牲數據在地化嘅前提下,做到可驗證、可審計嘅AI治理。
Comments
0 comments