成本優化

動態時間戳：最貴的 System Prompt

一個小小的設計錯誤，可以讓你的 KV Cache 完全失效，每輪對話成本翻倍：在 System Prompt 裡寫動態時間。

錯誤 vs 正確設計
❌ 錯誤設計
System: 你是助手。 當前時間: 2026-04-10 14:35:22 ...
0%
快取命中率
+100%
額外成本
✅ 正確設計
System: 你是助手。 （不含時間） User: [2026-04-10] 請幫我...
~95%
快取命中率
-70%
成本節省
即時對比模擬
即時對比 --:--:-- 每秒發一次請求
❌ 動態時間戳（精確到秒）
System: 你是助手。
當前時間: --:--:--
...
⏳ 等待請求...
快取命中率0%
✅ 靜態 System Prompt
System: 你是助手。
（不含時間）
User: [--] ...
⏳ 等待請求...
快取命中率0%
0
總請求數
0
左側 Cache Miss
0
右側 Cache Hit
—
右側節省成本
啟動後每秒自動發一次請求，觀察兩側 KV Cache 命中差異
其他常見殺手
其他常見的 KV Cache 殺手：
精確到秒的時間戳 隨機 Session ID 使用者 ID 前綴 A/B 測試變數 隨機 emoji 前綴 動態廣告文案
任何讓 System Prompt 每次不同的內容，都會導致快取完全失效。
🔒 原則：System Prompt = 固定前綴。 把動態內容（時間、使用者資訊、隨機性內容）放到 User 訊息裡，不要放進 System Prompt。