從補全到對話
大模型的本質是補全,
那如果我偽造一段聊天記錄讓它補全呢?
你唔係淨係識一個一個字咁吐出嚟?
那我就構造一個格式:「呢段係未寫完嘅傾偈記錄,你嚟續寫助理嗰部分。」
第一步
拼出一段「假的聊天記錄」:
用戶發了什麼,然後助理那一欄故意留空
用戶發了什麼,然後助理那一欄故意留空
第一輪:模型看到什麼?補了什麼?
用戶:紫霞仙子係邊個?
助理:
助理:
↓ 模型從「助理:」後面開始補全
助理補出來:
第二步
把整段文字餵給 Base 模型,
它只會做一件事:從結尾處開始補全
它只會做一件事:從結尾處開始補全
第三步
用戶再説一句話,就把「上一輪迴答 + 新問題」
重新拼成更長的待補全文本,繼續送給模型
重新拼成更長的待補全文本,繼續送給模型
第二輪:用戶再説一句,把第一輪答案拼進去繼續送
助理補出來:
嘩,唔好話冇,大模型真係補得有模有樣!!!
等一下——它是「推」出來的嗎?
再看一眼第二輪的原文:上一句只講咗「紫霞仙子係《大話西遊》入面嘅角色,至尊寶最深愛嘅人」, 壓根沒説紫霞愛誰。嚴格按字面推,「佢愛嘅人係邊個」這一問答不出來。
模型敢這麼補,是因為它在訓練語料裏見過這個故事無數遍。這不是推理,是 把最常一起出現的話接下去。補得像和想明白了是兩回事—— 順着這條縫往下走,就是後面「幻覺」那一節。