Osaurus：一個可以喺 Mac 本地運行 AI 模型、同時連接雲端服務嘅平台

Osaurus 是甚麼？為何會出現

目前很多 AI 應用都以雲端為核心：提示詞、文件、使用紀錄等資料通常會儲存在服務商伺服器。

Osaurus 的理念則是 「local‑first（本地優先）」——將最重要的部分留在本機，例如：

• AI agent
• 使用者記憶
• 檔案與工具
• 工作流程

模型本身可以隨時更換，但你的 AI 環境不需要搬家。

技術上，Osaurus 同時扮演兩個角色：

• 一個 原生 macOS AI 應用程式（提供聊天介面與設定）
• 一個 本地 LLM 伺服器與 API 閘道（其他工具都可以連接）

平台用 Swift 編寫，並利用 Apple 的 MLX 機器學習框架，讓 AI 模型在 Apple Silicon 上高效運行。

一個介面，同時用本地與雲端 AI

Osaurus 的其中一個亮點，是可以透過同一個介面切換不同模型。

用戶可以在聊天介面中即時選擇：

• 本地 MLX 模型（直接在 Mac 運行）
• Apple Foundation Models（Apple Intelligence 提供）
• 雲端模型（例如 OpenAI、Anthropic）

模型可以隨時切換，而 agent、工具與記憶都保持不變。

平台背後還提供多種 API 格式，例如：

• OpenAI 兼容 API
• Anthropic 訊息 API
• Ollama 兼容 API
• Model Context Protocol（MCP）工具接口

因此很多現有應用程式或 SDK 都可以直接連接 Osaurus，就好像它是一個 AI 服務商，而系統會決定請求是在本地還是雲端處理。

Osaurus 支援哪些模型

Osaurus 的設計重點是 model‑agnostic（模型無關）。

意思是平台本身不依賴任何單一 AI 模型。

例如可以運行：

• 開源本地模型：如 Llama 系列、Gemma、Qwen 等 MLX 版本
• Apple 的 Foundation Models（透過 Apple Intelligence）
• 雲端模型：例如 OpenAI 或 Anthropic 的模型

實際使用時，用戶可以混合使用。例如：

• 日常任務用小型本地模型
• 複雜推理再切換到大型雲端模型

整個工作流程仍然保持一致。

平台核心功能

Osaurus 將多種 AI 基礎設施整合到一個 Mac 應用中。

全系統聊天介面

平台提供一個 系統級聊天 overlay，可以快速呼叫 AI 助手。
同時亦有管理視窗，用來設定 agent、模型、插件、工具與自動化流程。

持久化 Agent 與記憶

Osaurus 的 AI agent 可以保存：

• 配置
• 提示詞
• 長期記憶

即使更換模型或供應商，這些設定都會保留。

插件、工具與 MCP

平台支援插件與外部工具整合，並兼容 Model Context Protocol（MCP），可連接開發工具或其他應用程式。

本地語音轉文字

Osaurus 內建語音輸入功能，使用 Whisper 模型透過 WhisperKit 在本地進行語音轉文字。

特點包括：

• 即時語音轉錄
• 支援麥克風或系統音訊
• 完全在 Mac 上處理資料

因此語音內容不需要傳到外部伺服器。

CLI 與本地 API

對開發者來說，Osaurus 還提供：

• CLI 指令工具
• 本地 HTTP API

可以用程式管理模型、agent 與工具。

AI Agent 的沙盒安全設計

AI agent 如果可以執行程式碼，理論上會帶來安全風險。

Osaurus 的解法是：將 agent 放進 Linux 沙盒虛擬機執行。

這個 VM 透過 Apple 的容器化框架運作，並使用 Alpine Linux，內含完整 POSIX 工具，例如：

• shell
• Python
• Node
• 編譯器
• 套件管理器

所有 agent 代碼都在 VM 裡執行，而不是直接在 macOS 主系統運行。

這種設計帶來幾個安全好處：

• 系統隔離：agent 無法直接影響 macOS
• 權限控制：只允許沙盒內部操作
• 安全自動化：可執行複雜任務但風險較低

因此即使 agent 自動執行程式，也不容易破壞主系統。

硬件與 macOS 要求

Osaurus 專門為 Apple Silicon 設計，不支援 Intel Mac。

基本需求包括：

• Apple Silicon Mac（M1、M2、M3 或更新）
• macOS 15.5 或以上
• 每個本地模型約需 2–20GB 儲存空間

部分進階功能，例如：

• Linux sandbox
• Apple Foundation Models

則需要 macOS 26（Tahoe）或以上，因為依賴 Apple 新的容器與 AI 框架。

為何 Osaurus 最近開始受到關注

AI 工具市場愈來愈多，但 Osaurus 之所以引起討論，主要有幾個原因。

1. 私隱與資料控制
不少用戶希望 AI 工具不要自動把資料傳到雲端。Osaurus 將記憶、檔案與代理全部保留在本機。

2. 避免模型鎖定（vendor lock‑in）
AI 模型更新很快，平台允許隨時更換模型或供應商。

3. 本地與雲端混合 AI
本地模型可離線使用並保護私隱，而雲端模型則提供更高算力。

4. 對開發者友善
透過兼容 OpenAI、Anthropic 與 Ollama API，很多現有應用都能直接接入。

更大的想法：把 AI 環境留在你的電腦

Osaurus 背後的核心觀點是：在 AI 系統裡，最有價值的其實不是模型，而是模型周圍的上下文——包括記憶、工具、身份與工作流程。

如果這些都留在用戶裝置上，AI 助手就能變得更個人化，也不會被單一平台限制。

隨着 Apple Silicon 電腦算力愈來愈強，像 Osaurus 這類平台有可能把普通 Mac 變成一個完整的 本地 AI 工作環境：既能運行模型與 agent，又能在需要時接入整個雲端 AI 生態。