地端:讓 NUC 獨立完成一段工作
先試文件分類、欄位擷取、語音前處理等範圍明確、會重複發生的任務。
要驗證:指定配置能不能達到品質門檻?等待時間與記憶體是否可接受?若要離線,整段流程有沒有網路依賴?
NUC AI 實驗室
習慣雲端模型的能力之後,我們會想把更多工作交給 AI。當工作流變長、呼叫次數與 Token 用量增加,我想研究:哪些部分可以留在桌上這台小型 NUC,哪些仍值得交給雲端?這裡會從實際任務出發,探索地端應用,也試著把地端與雲端接在一起。
三條實驗路線
下面是想驗證的分工方向。適合放哪裡,要看實際模型、NUC 配置與工作要求;每個例子都還需要測試。
先試文件分類、欄位擷取、語音前處理等範圍明確、會重複發生的任務。
要驗證:指定配置能不能達到品質門檻?等待時間與記憶體是否可接受?若要離線,整段流程有沒有網路依賴?
把複雜推理、跨文件綜合分析,以及地端處理失敗的案例列為雲端比較組。
要驗證:雲端是否真的改善結果?多出的輸入/輸出 Token、呼叫次數和等待時間,換到了什麼?
先在 NUC 分類、檢索或整理資料,再把必要內容交給雲端;也研究如何辨識需要升級處理的任務。
要驗證:分流有沒有漏掉困難案例?資料壓縮是否損失資訊?加上重試與人工修訂後,整段流程是否仍有幫助?
哪些重複、範圍明確的工作,NUC 能獨立完成?
哪些困難任務,仍值得用雲端模型?
能否先在本機處理,再把需要的部分交給雲端?
同一任務、同一品質門檻,再看用量與成本。
從這些專案開始
想法不必先一句句打出來:讓 NUC 在地端把中文語音轉成文字,再交給所選的地端或雲端模型。已有 Python/Electron 串接原型,接下來比較語音與打字的實際使用差別。
下一步記錄可用指令的完成時間、辨識修訂與模型回應。選用 Claude 時文字會送往雲端,edge-tts 也需要網路;目前尚無省時、Token 節省或穩定度結論。
看語音助手的實作與取捨從朋友的 Laya 貪食蛇專案,延伸思考決策模型能否當工作流選擇器:哪些請求留在本機,哪些需要雲端?
Jev 是雲端 API,Laya 提供相容介面的地端研究入口。這篇是附來源的構想,尚未重跑朋友專案或驗證路由效果。
讀分流構想與待驗證問題建立雲端、地端與混合三組流程。先檢查結果是否可用,再量測 Token、呼叫次數、整段等待時間、NUC 資源與人工修訂。
方法與紀錄欄位已整理;模型、硬體配置與實測數據待補。地端不先假設比較便宜,硬體、電力與維護也要列入。
看三種流程的比較方法我想留下的不只是「模型跑得動」,而是一份有條件的任務分工經驗:什麼留在 NUC、什麼交給雲端,以及什麼情況值得混合使用。每次實驗會交代配置、品質門檻與失敗情境,有數據之後再談節省或成效。
實驗構想
有些想法還在規劃,有些已經做出一小段。我會把進度留在文章上,也想聽聽你最想看什麼。
進度會隨實作更新,和主題標籤分開。
有些任務只需要選下一步。從 Jev、朋友的 Laya 地端貪食蛇專案,到模型分流和交易研究,我想知道這類決策模型適合放在流程的哪裡。這篇先記下假設與測試方法。
有想看的實驗,可以在 Instagram 告訴我。
影片筆記
之後會把操作示範與實測影片放在這裡,搭配文字摘要和測試設定。第一支影片還在準備中。