基礎原理

訓練 vs 推理：兩個完全不同的過程

很多人以為 AI 每次回答都在學習。實際上完全不是這麼回事。

對比
類比學生考試：訓練 = 多年備考，反覆刷題，記住知識  →  推理 = 上考場作答，參數凍結，不再學習新東西
訓練（Training）
在海量資料上調整數十億個參數，讓模型記住世界知識。
執行頻率一次性
算力需求千～萬塊 GPU
參數狀態持續更新
成本數億美元
時長數週～數月
推理（Inference）
用固定參數，針對你的輸入生成回答。每次對話參數完全不變。
執行頻率每次對話
算力需求1～數塊 GPU
參數狀態完全凍結
計費按 Token 計費
時長1～10 秒/次
互動實驗：你說的話會改到參數嗎？
Context Window（上下文視窗）
AI
你好！有什麼我可以幫忙的嗎？
模型參數（示意）
🔒 參數完全凍結
對話不改變任何權重
你和 AI 說的話，不會修改任何參數。今天告訴它「你叫小明」，明天重開對話它就不記得了，因為對話只存在於上下文，對話不是學習。