編程基礎篇 · 搜索與決策

貪心與採樣：AI 選詞時的兩種性格

大模型原理篇你看過 AI 逐詞元續寫時腦子裏的候選概率條，也調過 Temperature 旋鈕。當時是「體感」，這一課給它算法學的名字：每步挑最大的叫貪心，按概率擲骰子叫採樣。同一個開頭，兩種性格各生成三次——差別一眼就能看穿。

同一個開頭 · 兩種性格

開頭固定是「週末嘅計劃係」。先玩上面這台：貪心模式（temperature=0），每步永遠選概率條最長的那根。連點三次「再生成」，留意下方堆疊的結果列表——有冇哪怕一個字唔同？

temperature = 0

週末嘅計劃係

每一步的候選——它永遠拿最長那根

沒有骰子、沒有懸念：概率最大者勝

再玩下面這台：採樣模式，每步按概率加權擲骰子。先在 0.7 檔連點三次，看結果是不是各不相同；再切到 1.2 檔試試——留意概率條的形狀變化：温度越高，條與條越接近，冷門詞翻身的機會就越大。

按概率擲骰子

temperature

週末嘅計劃係

經温度調整後的概率——骰子按這個擲

同樣的候選表，擲骰子選——每次都可能走上不同岔路

概念卡 · 兩種性格的帳本

快、穩、可復現——跑一萬次都是同一句話。但它有個致命盲點：每步的局部最優，加起來不一定是整體最優。第一步選了最順口的詞，可能把整句話帶進死路。呢個坑點填？下一課的 Beam Search 就是解藥——先賣個關子。

用確定性換多樣性。按概率擲骰子，很大機會的詞常被選中（所以還是通順的），小概率的詞偶爾翻身（所以有驚喜）。温度就是撥給「驚喜」的額度：T 越高，概率分佈被壓得越平，冷門詞越敢冒頭。

面試標準答案，一句話版：temperature = 0 時就是貪心解碼，輸出完全確定；T 越高，softmax 分佈越平坦，模型越敢選低概率詞，多樣性和「胡來」的風險一起上升。你在大模型原理篇撥的那顆旋鈕，撥的就是貪心和採樣之間的位置。

生活裏你見過貪心黨：自助餐裏每一輪都直奔當下最貴的菜——三文魚、牛排、帝王蟹一路夾過去，最後肚子沒了，主打的現切和牛一口沒吃上。每步最優 ≠ 整體最優，胃是有限的，上下文窗口也是。