從補全到對話

大模型的本質是補全,
那如果我偽造一段聊天記錄讓它補全呢?

你不是只會一個字一個字往後吐嗎?
那我就做出一個格式:「這是一段還沒寫完的聊天紀錄,你來接寫助理的部分。」


第一步
拼出一段「假的聊天記錄」:
使用者發了什麼,然後助理那一欄故意留空
使用者:紫霞仙子是誰?
助理:
↓ 模型從「助理:」後面開始補全
助理補出來:
第二步
把整段文字餵給 Base 模型,
它只會做一件事:從結尾處開始補全

第三步
使用者再說一句話,就把「上一輪回答 + 新問題」
重新拼成更長的待補全文字,繼續送給模型
第二輪:使用者再說一句,把第一輪答案拼進去繼續送
使用者:紫霞仙子是誰?
助理:
使用者:她愛的人是誰?
助理:
助理補出來:
欸,說真的,大模型補得還真有模有樣!!!
等一下——它是「推」出來的嗎?

再看一眼第二輪的原文:上一句只說了「至尊寶最深愛的人是紫霞仙子」, 根本沒說紫霞愛誰。嚴格按字面推,「她愛的人是誰」這一問答不出來。

模型敢這麼補,是因為它在訓練語料裡見過這個故事無數遍。這不是推理,是 把最常一起出現的話接下去。補得像和想明白了是兩回事—— 順著這條縫往下走,就是後面「幻覺」那一節。