成本優化
大道至簡:堅守第一性原理
AI Harness · 收官思考。四步回到原點,看清一切 Harness 手段的本質。
第一性原理:本質只有一件事
一切 Harness 手段,歸根到底都是為了構造更優質的上下文,讓模型更準確理解你的意圖。
一切 Harness 的終點,都指向同一件事:
AI Harness
= 用盡一切辦法
做好上下文管理
= 用盡一切辦法
做好上下文管理
上下文管理的三個維度
質素(精準信息)· 結構(放對位置)· 成本(最小 Token 最大密度)
質
質素
注入精準、高密度的信息(RAG、語義壓縮、Few-Shot 動態檢索)
構
結構
關鍵信息放首尾,核心約束寫在 System Prompt,位置決定注意力
本
成本
用最少的 Token 傳遞最多有效信息(輸出控制、KV Cache、格式選擇)
Harness:做定唔做?
拼成本、拼效率、拼效果,Harness 是護城河。但極耗資源、大模型升級後直接被替代的手段,可以放棄。
值得做的 Harness
和友商拼成本、效率、效果
大模型升級後效果更好(互補)
形成產品護城河
收益明確,成本可控
可以放棄的 Harness
消耗極大資源,維護成本高
大模型升級後直接被替代
用戶完全感知不到效果提升
邊際收益趨近於零
⚠️ 隨着大模型升級,許多 Harness 手段會被淘汰。要時刻問自己:呢件事模型版本升級之後仲需唔需要?
回到原點,問自己這個問題
能回答好這個問題,你就掌握了 AI Harness 的本質。大道至簡,上下文為王。
當你唔知點算嘅時候,返去原點:
「我而家畀模型嘅上下文,
係咪佢做好呢件事所需要嘅全部?」
係咪佢做好呢件事所需要嘅全部?」