Agent 工程
長期記憶:向量檢索
讓 Agent 記住上個月的事:通過向量檢索,把用戶偏好、項目配置、歷史 Bug 注入當前對話。
一個類比
短期記憶 = 你的桌面
上下文窗口,放得下的資訊有限
→
長期記憶 = 你的檔案櫃
向量數據庫,需要時檢索相關檔案放到桌面上
桌面放不下所有東西,但你可以隨時從檔案櫃裏調取最相關的檔案
交互演示:點擊提問,觀察檢索過程
🗄 記憶庫
8 條歷史記憶
點擊模擬不同的用戶提問
🔍 向量檢索過程
—
三個設計決策
📌 設計決策 ①
咩資訊應該存入長期記憶?用戶偏好、項目配置、歷史 Bug、常用操作,這些決定了 Agent 的個性化程度。
咩資訊應該存入長期記憶?用戶偏好、項目配置、歷史 Bug、常用操作,這些決定了 Agent 的個性化程度。
📌 設計決策 ②
記憶檢索質素取決於 Embedding 模型。「修登入接口」同「登入接口併發 500」,模型可唔可以配到同一條記憶?
記憶檢索質素取決於 Embedding 模型。「修登入接口」同「登入接口併發 500」,模型可唔可以配到同一條記憶?
📌 設計決策 ③
記憶太多也是問題:topK=5 意味着每次最多召回 5 條。如何保證最重要的記憶排在最前面?
記憶太多也是問題:topK=5 意味着每次最多召回 5 條。如何保證最重要的記憶排在最前面?
Takeaway
Takeaway 短期記憶(上下文窗口)讓 Agent 記住當前對話,長期記憶(向量檢索)讓 Agent 記住上個月的事。兩者配合,Agent 才能像真正的助手一樣:既瞭解你現在在做什麼,也記得你過去的偏好。