一個任務,怎麼比較地端、雲端與混合?

想把部分工作交給 NUC,先弄清楚:能不能做好,又省下了什麼、增加了什麼?

影片筆記

有些過程,用影片更容易說清楚。

之後會把操作示範與實測影片放在這裡,搭配文字摘要和測試設定。第一支影片還在準備中。

先挑一個平常會做的任務

以同一批文件與問題測試。雲端組直接處理;地端組嘗試由 NUC 完成;混合組先在 NUC 整理,再依規則送交雲端。固定品質門檻,保留失敗、重試與人工修訂。

這次先提出測試設計。判斷重點是特定任務是否適合地端執行,不先假設某種部署方式一定更好。

先記好硬體和模型設定

硬體

NUC;確切配置待填

模型與量化

測試前固定版本

Runtime

記錄版本與啟動設定

輸入與輸出

固定文件、提示與輸出長度條件

先看答案,再看跑得快不快

  1. 以相同文件與問題建立測試集,記錄來源與使用權限。
  2. 訂出摘要正確性與脈絡完整性的評分方式。
  3. 區分冷啟動與暖機後測試,固定重複次數。
  4. 記錄端到端延遲、生成速度與資源占用,保留各次結果。
  5. 把品質與成本一起解讀,記錄錯誤與失敗情境。

比較模型時,也要交代輸出長度、context 與量化條件。不同條件的數字不直接排成誰比較快的排行榜。

三種流程,都記錄整段工作

以同一批文件與問題測試。雲端組直接處理;地端組嘗試由 NUC 完成;混合組先在 NUC 整理,再依規則送交雲端。固定品質門檻,保留失敗、重試與人工修訂。

紀錄項目雲端流程NUC 地端流程混合流程
結果品質與人工修訂時間待測待測待測
端到端延遲(含重試)待測待測待測
雲端輸入/輸出 Token 與呼叫次數待測待測待測
本機記憶體峰值與電力待測待測待測
API 費用、硬體攤提與維護時間待測待測待測

沒有實測前不填節省比例。若流程預期不呼叫雲端,也要確認網路與服務紀錄後才填零;不同模型或帳單的 Token/價格另記版本與日期。

這次測試還回答不了什麼?

單一任務不能代表整體模型能力,單一硬體配置也不能代表所有地端部署。下一步是選定可公開的測試材料與配置,完成量測後再討論產品上的意義。

相關方法:評估一個 AI 工作流 ← 回到 NUC AI 實驗室