編程基礎篇 · 查找與排序

排序在 AI 裏的真身:Rerank

上一課的排序比的是數字大小,但 AI 世界裏排的是「相關性」:RAG 從知識庫撈回來一堆段落,誰排前面誰就能擠進上下文——排錯了,模型就會一本正經地引用錯誤資料。這個「打分 + 重排」的環節叫 Rerank。今天你親自上崗,當一次 Rerank 模型。

互動 · 親手當一次 Rerank 模型

場景:用戶在客服機器人裏問「你哋嘅退貨政策係咩?」,粗排從知識庫撈回 5 條候選段落。每條有三項分數:向量相似度(意思相近)、關鍵詞命中(字面匹配)、新鮮度(文檔新舊)。你手裏有三個權重滑塊,總分 = 三項分數加權平均。留意:初始只重相似度,排第一的其實是 2023 年的舊版政策——試試加大「新鮮度」權重,看正確條款怎麼登頂。

💬 你哋嘅退貨政策係咩? 粗排召回 5 條候選
核心概念 · 兩階段漏斗

你剛才幹的活,在真實系統裏是「精排」——漏斗的最後一層。完整的流程長這樣(滾到這裏自動播放):

0
知識庫全部文檔
▼粗排:向量近鄰,快而糙
0
條候選段落
▼精排 Rerank:逐條細看,貴而準
0
條最終塞進上下文
點解唔全部用精排?

貴。精排要把「問題 + 段落」成對送進模型逐條細讀,100 萬條都這麼讀,等一小時、燒一筆錢。所以先用便宜的粗排把 100 萬砍到 50。

點解唔全部用粗排?

不準。粗排只看向量距離,分不清「現行政策」和「舊版政策」——你剛才親眼見過。所以最後 50 條要請貴的模型逐條把關。

工程 = 在漏斗每層花對錢。快而糙的算法負責海選,貴而準的模型負責決賽——兩階段各幹各的,總成本和總質素才能同時達標。這個「分層花錢」的思路,你以後在緩存、推薦、審核系統裏會反覆見到。
舉一反三 · 全是「先撈後排」
🔍

搜索結果排序

搜索引擎先從萬億網頁裏粗召回,再按相關性、權威度、新鮮度打分精排——你看到的第一頁,就是 Rerank 的產出。

📱

推薦資訊流

短影片先粗篩幾千條候選,再用精排模型預測「你會唔會睇完」逐條打分。你的首頁順序,每天被重排幾十次。

📚

RAG 檢索

就是今天的主場:向量近鄰粗撈、Rerank 精選,最後幾條才有資格佔用寶貴的上下文——上一章 O(n²) 的帳單還記得吧。

✅ 這一課想和你分享的