入門與定位

為什麼花這麼多時間講原理?

磨刀不誤砍柴工 · 打好基礎才能真正做工程化

AI 所有工程化操作,本質上都是對上下文的高效處理

不管是 Prompt Engineering、RAG、Fine-tuning,還是 Agent 工具調用,所有的花活,基本上都圍繞着這個 message list 處理。理解它,你才能真正判斷方案好不好、問題出在哪裏。

所有工程化操作,本質都在做這件事

Prompt Engineering

精心構造 messages,讓模型看到正確的上下文:系統指令、角色定義、少樣本示例,全部是往 message list 裏塞內容。

RAG 檢索增強生成

從外部知識庫取回相關文檔片段,拼進 message list 再發給模型,本質是在運行時擴充上下文。

Agent 工具調用

模型輸出 function call → 執行工具 → 把結果 append 回 message list → 再次推理。每一輪都是在積累上下文。

Fine-tuning / SFT

把大量理想的 message list 燒進模型權重,讓模型預設就能按期望方式處理上下文,省去每次都要在 prompt 裏説明的成本。

不理解底層,會卡在這些問題上

「Prompt 改咗都冇用」

System Prompt 被截斷、歷史對話佔滿窗口,問題根本出在上下文管理,跟 Prompt 寫得好不好沒有關係。

「RAG 效果差,唔知邊個環節壞咗」

Chunking 粒度、Embedding 模型、相似度閾值,不了解原理就不知道該查哪裏,只能瞎試。

「模型答錯咗,應該改 Prompt 定 Fine-tune?」

是上下文沒給對,還是參數裏壓根沒這個知識?兩件事的修復方式完全不同,搞錯方向浪費大量時間。

我會花比較大的篇幅講解這部分,不推薦跳過
理解了 message list 的處理邏輯,後面所有工程化方案你都能一眼看穿它在做什麼,為什麼有效,侷限在哪。