成本優化

顯式緩存：實戰對比

一行程式碼，保證命中。生產環境必須用顯式緩存：隱式緩存在分佈式架構下不可靠。

點解隱式緩存不可靠

⚠️ 隱式緩存點解喺生產環境不可靠？

你的請求
→
負載均衡
→
隨機路由到其中一個節點：
節點A
有緩存
節點B
無緩存
節點C
無緩存

雲端 LLM 跑在多台 GPU 節點上，每次請求隨機路由。節點 A 有你的緩存，節點 B/C 沒有。命中純靠運氣，實際命中率 <30%。

✅ 顯式緩存：主動標記錨點

在 API 請求裏加一行 cache_control，平台保證把請求路由到有緩存的節點。不依賴隨機路由，命中率接近 100%。

隱式緩存（自動）

無需改程式碼
不保證命中
折扣：標準價 20%
分佈式下 MISS 率高

顯式緩存（推薦）

加一行 cache_control
平台保證路由命中
折扣：標準價 10%
省 90% 輸入成本

三大平台程式碼示例
命中率模擬對比
模擬 10 次請求：隱式 vs 顯式緩存命中對比
隱式緩存（隨機路由）
顯式緩存（保證路由）
—
隱式命中次數
—
顯式命中次數
—
顯式節省成本
工程結論：生產環境必須用顯式緩存。把省錢的希望寄託在隨機路由上，相當於靠運氣省錢，既不可靠，也不專業。