Agent 工程

長期記憶:向量檢索

讓 Agent 記住上個月的事:透過向量檢索,把使用者偏好、專案配置、歷史 Bug 注入當前對話。

一個類比
🗂
短期記憶 = 你的桌面
上下文視窗,放得下的資訊有限
→
🗄
長期記憶 = 你的檔案櫃
向量資料庫,需要時檢索相關檔案放到桌面上
桌面放不下所有東西,但你可以隨時從檔案櫃裡調取最相關的檔案
互動演示:點選提問,觀察檢索過程
🗄 記憶庫 8 條歷史記憶
Embedding gemini-embedding-001
維度 768
儲存 LanceDB
topK 5
minScore 0.3
點選模擬不同的使用者提問
🔍 向量檢索過程 —
三個設計決策
📌 設計決策 ①
什麼資訊該存入長期記憶?使用者偏好、專案配置、歷史 Bug、常用操作,這些決定了 Agent 的個性化程度。
📌 設計決策 ②
記憶檢索品質取決於 Embedding 模型。「修登入介面」和「登入介面併發 500」,模型能匹配到同一條記憶嗎?
📌 設計決策 ③
記憶太多也是問題:topK=5 意味著每次最多召回 5 條。如何保證最重要的記憶排在最前面?
Takeaway
Takeaway 短期記憶(上下文視窗)讓 Agent 記住當前對話,長期記憶(向量檢索)讓 Agent 記住上個月的事。兩者配合,Agent 才能像真正的助手一樣:既瞭解你現在在做什麼,也記得你過去的偏好。