程式設計基礎篇 · 搜尋與決策

貪心與取樣：AI 選詞時的兩種性格

大模型原理篇你看過 AI 逐詞元續寫時腦子裡的候選機率條，也調過 Temperature 旋鈕。當時是「體感」，這一課給它演算法學的名字：每步挑最大的叫貪心，按機率擲骰子叫取樣。同一個開頭，兩種性格各生成三次——差別一眼就能看穿。

同一個開頭 · 兩種性格

開頭固定是「週末的計劃是」。先玩上面這臺：貪心模式（temperature=0），每步永遠選機率條最長的那根。連點三次「再生成」，留意下方堆疊的結果列表——有沒有哪怕一個字的不同？

temperature = 0

週末的計劃是

每一步的候選——它永遠拿最長那根

沒有骰子、沒有懸念：機率最大者勝

再玩下面這臺：取樣模式，每步按機率加權擲骰子。先在 0.7 檔連點三次，看結果是不是各不相同；再切到 1.2 檔試試——留意機率條的形狀變化：溫度越高，條與條越接近，冷門詞翻身的機會就越大。

按機率擲骰子

temperature

週末的計劃是

經溫度調整後的機率——骰子按這個擲

同樣的候選表，擲骰子選——每次都可能走上不同岔路

概念卡 · 兩種性格的帳本

快、穩、可復現——跑一萬次都是同一句話。但它有個致命盲點：每步的區域性最優，加起來不一定是整體最優。第一步選了最順口的詞，可能把整句話帶進死路。這個坑怎麼填？下一課的 Beam Search 就是解藥——先賣個關子。

用確定性換多樣性。按機率擲骰子，大機率的詞常被選中（所以還是通順的），小機率的詞偶爾翻身（所以有驚喜）。溫度就是撥給「驚喜」的額度：T 越高，機率分佈被壓得越平，冷門詞越敢冒頭。

面試標準答案，一句話版：temperature = 0 時就是貪心解碼，輸出完全確定；T 越高，softmax 分佈越平坦，模型越敢選低機率詞，多樣性和「胡來」的風險一起上升。你在大模型原理篇撥的那顆旋鈕，撥的就是貪心和取樣之間的位置。

生活裡你見過貪心黨：自助餐裡每一輪都直奔當下最貴的菜——三文魚、牛排、帝王蟹一路夾過去，最後肚子沒了，主打的現切和牛一口沒吃上。每步最優 ≠ 整體最優，胃是有限的，上下文視窗也是。