上下文管理

壓縮是一門取捨的藝術

上下文太長咗點算?全刪定全留都唔啱:有啲可以刪(舊工具輸出)、有啲唔可以刪(用戶原話)、有啲要花錢壓(全量摘要)。產品經理需要一個決策框架。

上下文壓縮模擬器

一段 8 輪對話,試試不同的壓縮策略

決策框架
可以刪
舊的工具調用結果
已處理完的中間步驟
重複的確認消息
可以壓縮
AI 的長篇回覆
多輪討論的結論
搜索/查詢的詳細結果
不能動
用戶的原始消息
System Prompt
關鍵的偏好設定
壓縮不是全刪或全留,是在信息價值和 token 成本之間找平衡。好的壓縮策略像一個有經驗的編輯:知道什麼是廢話可以砍,什麼是用戶的原話必須留。