幻覺與應對
大模型幻覺 (Hallucination)
模型不知道事實,只是在做概率採樣。看它如何自信地編造:選擇一個案例,點擊「開始生成」,觀察幻覺如何在逐詞生成中產生。
選擇一個 Prompt
CASE 1 · 張冠李戴
黛玉捧着月光寶盒,輕聲問:
月光寶盒是紫霞的,模型只看共現權重,不知道誰擁有什麼。
CASE 2 · 穿越混搭
花千骨對郭靖急道:靖哥哥,
花千骨和郭靖來自不同作品,模型會流暢地續寫跨作品對話。
CASE 3 · 無中生有
女兒國國王望着杏花簪嘆道:
杏花簪是沈眉莊的道具,模型會錯誤地安排給女兒國國王。
CASE 4 · 人設崩塌
小龍女轉頭對楊過急道:
小龍女清冷淡然,不會「急道」;但模型不懂人設,只看詞頻。
CASE 5 · 程式碼幻覺 API
用 pandas 對 DataFrame 按多列排序並保持穩定:
模型會寫出不存在的參數組合:程式碼像真的,但 API 根本不是這麼用的。
CASE 6 · 日常對話幻覺
晚上好,食咗飯未
AI 冇嘴,但會講「食咗」,仲可以編出「番茄炒蛋麪」。概率續寫令佢扮演咗一個根本唔存在嘅角色。
逐步生成過程
慢
中
快
← 選擇 Prompt,點擊「開始生成」
根本原因:兩本書的世界
📚 模型參數(長期記憶)
訓練時寫入,推理時只讀。有知識截止日期,知識以壓縮形式儲存,不精確,無法更新。
類比:寫完就封存的百科全書
類比:寫完就封存的百科全書
💬 上下文窗口(工作記憶)
對話時動態注入,精確可信。包含系統提示詞、文件、本輪對話歷史。
類比:放在桌上的參考資料
類比:放在桌上的參考資料
⚠ 模型沒有「不知道」的概念,它只會續寫。參數中沒有答案時,會生成「聽起來應該是這樣」的內容,置信度不因資訊不準確而下降