對於重視數據私隱及希望於本地執行 AI 模型的企業與開發者來說,又有多一個低成本選擇!Apple 旗下的數據庫及軟體子公司 Claris,正在測試一款名為「Harbor」的全新 Mac 應用程式。這款 App 能直接將配備 Apple Silicon 晶片的 Mac 變成「私有 AI 推理伺服器」(Private AI Inference Server),讓用戶無需將數據上傳至雲端,亦免卻按 Token 付費的煩惱。

數據零上載 幾分鐘完成部署
根據 Claris 官方網站 及流出的 App Store 頁面資訊,Harbor 主打「簡單易用」與「極致安全」。以往開發者若要在本地運行開源大語言模型(Open-weight models),通常需要透過命令列(Command Line)或進行繁複的環境設定;而 Harbor 則提供圖形化介面,讓用戶直接在 App 內瀏覽、下載並載入各種開源模型。

支援 Thunderbolt 5 串聯 多台 Mac 共享「統一記憶體」
Harbor 的另一大核心亮點在於其擴展能力(Clustering)。隨著 macOS 系統加入對 Thunderbolt 5 的 RDMA 支援,Harbor 能自動偵測經 Thunderbolt 5 連接的多台 Mac,並將它們的「統一記憶體」(Unified Memory)池化(Pool)組合成單一強大的 AI 運算資源。企業或開發者只需將多台 Apple Silicon Mac 串聯,就能突破單一電腦的記憶體限制,順暢運行參數規模更龐大的大語言模型,或是同時處理高並發(Concurrency)的 AI 請求。

瞄準企業市場 免費工具再添強勁對手
目前 Harbor 仍處於 Early Access(早期試用)階段,先前短暫上架 App Store 後已暫時下架。由於 Claris 一直以來主要服務企業客戶(如旗下的 FileMaker),加上註冊表格中要求填寫公司名稱,市場預期 Harbor 將會以企業及商業用戶為主要目標市場。
雖然現時 Mac 平台上已有如 LM Studio(單機使用)或 Exo(開源 Mac 串聯)等免費工具,但 Apple 子公司官方出品的 Harbor 將 LM Studio 的直覺介面與多機串聯功能結合,預計正式推出時將為本地 AI 部署市場帶來不少衝擊。



