編程基礎篇 · 哈希與緩存：空間換時間

緩存：AI 帳單的隱形折扣

上一課嘅哈希表解決咗「點樣瞬間搵到」，這一課解決另一個問題：算過的東西，別再算第二遍。你在模型價格表上見過的「緩存命中五折甚至一折」，帳單上省下的每一分錢，背後都是同一種收納方式——把算過的結果存起來，下次直接取。

先想一個日常場景

你計過一次「37 × 89 = 3293」，第二日有人又問你 37 × 89 等於幾——你會重新列直式咩？唔會，你直接報答案。緩存就是電腦的這種「直接報答案」：把算過的結果按 key 存進上一課的哈希表，下次遇到同樣的 key，一步直達取結果。哈希表管「存哪、怎麼找」，緩存管「什麼值得存」。兩課合起來才是完整的「空間換時間」。

互動 1 · KV Cache：同一段開頭唔好計兩次

大模型每生成一個字，都要「回頭看」前面所有 token，給每個 token 算一份注意力的中間結果。關鍵在於：只要前綴一模一樣，這些中間結果就一模一樣——咁第二輪對話仲重算佢做咩？下面每個小方塊是一個 token，先點「播放第一輪」，再點「播放第二輪」。留意第二輪裏綠色方塊出現的速度：它們沒有被計算，是直接從緩存取的。

正在計算（燒算力） 本輪算過 緩存命中，免算 還沒輪到
第一輪對話
系統提示詞 + 問題①，每個 token 都要從零計算
第二輪對話
前綴（系統提示詞 + 第一輪全部內容）一字沒變
先播第一輪，看每個 token 逐個點亮計算
第二輪的計算量對比（方塊數 = 要算的 token 數）
沒有 KV Cache
0 個 token
有 KV Cache
0 個 token
KV Cache 緩存的是「算過的注意力中間結果」（每個 token 的 Key 和 Value，名字就是這麼來的），不是緩存答案本身。對話每多一輪，前綴就更長、省得就更多——真實場景裏系統提示詞動輒幾千 token，輪輪重算等於輪輪全價買單。模型廠商價格表上「緩存命中的輸入 token 打一折」，指的正是這些綠色方塊。
一個立刻能用的驗收直覺：KV Cache 只認「前綴一模一樣」。如果你的應用每輪都把系統提示詞改一個字（比如把當前時間拼在最前面），緩存就輪輪失效，帳單直接翻幾倍。把會變的內容放到提示詞末尾、固定內容放開頭——這是花一分鐘就能省一大筆的架構習慣。
互動 2 · 語義快取嘅帳單

KV Cache 省的是「同一段開頭」，還有一種更狠的：同樣的問題，答案整個都別再算。客服機械人每日被問 1 萬次「點樣退貨」，問法五花八門但意思相同——把「意思」當 key（用向量相似度判斷，第十課細講），命中就直接返回存好的答案，一次模型調用都不用發。拖動命中率滑塊，留意月帳單的變化。

場景：客服機械人每日 10,000 次提問，每次調用大模型約 0.02 元，一個月 30 天。命中緩存的提問直接返回存好的答案，不產生調用費。
0%
這個月要付
¥6,000
每天 10,000 次全部真實調用
緩存幫你省下
¥0
這就是Harness 核心篇講過的語義緩存策略在省錢

⚠️ 但係——退貨政策改咗點算？

緩存裏還躺着按舊政策生成的標準答案，機器人會一本正經地拿它繼續回答十天半個月，比不緩存錯得更穩定、更理直氣壯。所以工程師常説：快取最難嘅唔係存，係知幾時作廢（術語叫「緩存失效」，計算機科學兩大難題之一）。常見做法：給緩存設個保質期（比如 24 小時過期）、或者政策一更新就主動清掉相關條目。設計任何緩存前先想好這一步，否則省下的錢會用客訴還回來。

它在 AI 世界的真身

「算過的別再算」這一招無處不在，下面四個你天天在享受的東西，本質上是同一個結構。

🧠

KV Cache

大模型推理的標配：前綴 token 的注意力中間結果只算一次。沒有它，長對話根本跑不動。

💬

語義緩存

把「問題的意思」當 key，相似提問直接複用答案。高頻客服場景能砍掉一大半調用費。

🌐

瀏覽器緩存

圖片、樣式文件下載一次就存本地，第二次打開網頁秒開——你刷網頁快，一半功勞是它的。

🗺

CDN

把內容提前存到離你最近的機房，全國用戶都像連上本地伺服器。快取 + 地理位置，還是那一招。

✅ 這一課想和你分享的