入門與定位

為什麼花這麼多時間講原理?

磨刀不誤砍柴工 · 打好基礎才能真正做工程化

AI 所有工程化操作,本質上都是對上下文的高效處理

不管是 Prompt Engineering、RAG、Fine-tuning,還是 Agent 工具呼叫,那些花招,基本上都圍繞著這個 message list 處理。理解它,你才能真正判斷方案好不好、問題出在哪裡。

所有工程化操作,本質都在做這件事

Prompt Engineering

精心構造 messages,讓模型看到正確的上下文:系統指令、角色定義、少樣本示例,全部是往 message list 裡塞內容。

RAG 檢索增強生成

從外部知識庫取回相關文件片段,拼進 message list 再發給模型,本質是在執行時擴充上下文。

Agent 工具呼叫

模型輸出 function call → 執行工具 → 把結果 append 回 message list → 再次推理。每一輪都是在累積上下文。

Fine-tuning / SFT

把大量理想的 message list 燒進模型權重,讓模型預設就能按期望方式處理上下文,省去每次都要在 prompt 裡說明的成本。

不理解底層,會卡在這些問題上

「Prompt 改了沒用」

System Prompt 被截斷、歷史對話佔滿視窗,問題根本出在上下文管理,跟 Prompt 寫得好不好沒有關係。

「RAG 效果差,不知道哪環節壞了」

Chunking 粒度、Embedding 模型、相似度閾值,不了解原理就不知道該查哪裡,只能亂試。

「模型答錯了,該改 Prompt 還是 Fine-tune?」

是上下文沒給對,還是參數裡根本沒有這份知識?兩件事的修復方式完全不同,弄錯方向會浪費大量時間。

我會花比較大的篇幅講解這部分,不推薦跳過
理解了 message list 的處理邏輯,後面所有工程化方案你都能一眼看穿它在做什麼,為什麼有效,侷限在哪。