AI 教我學習 · 防幻覺

讓 AI 的回答先過三道檢查

要出處、交叉驗證、標註不確定。同一段回答過三道閘,每開一道篩掉的不一樣,三道全開還剩一條得自己翻原文。

後面還有 6 個人排隊。櫃枱把兩頁資費説明推過來,你要把每月 129 元的手機套餐換成 59 元的,快下班了。你拍下這兩頁紙發給 AI:「幫我看看這個套餐,合約多久、提前取消要多少錢、以後能不能在 App 裏銷户?」

不到半分鐘,它給回六條判斷。每條都有數字,最後一條還帶着看起來很像出處的名字。

回答摘要(教學示意):套餐包含 30GB 流量,合約期 24 個月,提前取消賠 200 元;達到用量後會降速到 1Mbps;國際漫遊要另行開通;異地可以在 App 裏銷户,依據是「服務協議第九條」。

你算了一遍,每月省 70 元,就算提前取消賠 200 元也能接受。更關鍵的是異地可以綫上銷户。你在 5 點 47 分點了確認,拿着新套餐離開。

三個月後搬家,你在出發當天早上 8 點 20 分打開 App,裏面沒有銷户入口。客服説需要回號碼歸屬地的營業廳辦理,那兩頁資費説明也沒有「App 銷户」這句話。你 10 點 05 分的車票已經買好,只能先讓套餐繼續扣費。

當時會信,是因為 AI 把常見套餐的做法、眼前材料裏的數字和一個協議名稱排在了同一張清單裏。具體到第九條的出處又給了你一種已經核過原文的感覺。你問的是「幫我看看」,它的任務只是生成一份順暢答案,沒有被要求把依據、矛盾和推測分開。

同一段回答,多加三句話會怎樣

如果當時跟住加三句:「每條標出處」「換一種問法再答一次」「把確定和推測分開」,結果會變成三層清單:

  1. 先把沒有材料依據的兩條移出去,降速和國際漫遊暫時標成未核實。
  2. 再把兩次回答不一致的一條移出去,合約期一會兒是 24 個月,一會兒是 12 個月。
  3. 最後把從字面推出來的一條單列,「當月有效」推不出贈送流量一定清零。

一句話都不加,六條判斷會以同樣的口氣進入你的筆記;三句話加上去,四條先被停在待核區。

還有兩條留在結論裏,其中「App 銷户」甚至帶着協議名稱。佢點解冇被三道防線攔住?下面把三道開關逐個打開,看六條判斷怎麼移動。

先玩一遍 · 看三道防綫各自攔下什麼
同一份套餐回答,逐道檢查六條判斷
這次要打開哪幾道檢查
把三道檢查都關掉,六條判斷會原樣留在結論裏。
檢查之後還留在結論裏的判斷0
點播放,六條判斷會先從這裏進入檢查。
檢查時被移出結論的判斷0
每打開一道檢查,這裏會顯示它攔下了哪一條。
先揀要打開嘅檢查,再撳播放睇六條判斷點樣郁。
三道檢查分別攔下了什麼指不到材料的判斷、換個問法就改變的判斷、混在結論裏的推測。
三道檢查做完後點解仲剩一條它能給出一個協議名稱,協議那一節究竟寫了什麼,還需要你打開原文確認。
教學示意:條款與回答都是為演示寫的簡化文本,不對應任何真實套餐。
佢答完,跟住貼邊三句

下面三句可以整段接在任何回答後面。它們不會保證答案正確,作用是把原來擠在一起的內容分層,讓你先看見最值得核的地方。

可以整段照抄
  1. 請它把每條判斷指回原始材料請把剛才回答中的每條判斷逐條列出,並標明它來自我提供材料的哪一段。引用對應原句;如果找不到直接依據,就寫「未找到依據」,不要補一個出處。
  2. 換一種問法重新回答同一件事請先放下剛才的結論,按照「包含什麼、限制什麼、退出要付出什麼」重新檢查這份材料。把新答案和上一版逐條對照,只列出兩次不一致的地方。
  3. 把能確認的內容與推測分開請把剩下的判斷分成「材料直接寫明」和「根據材料推測」兩欄。每條推測寫清依據和還缺哪份資訊;沒有依據的內容繼續留在待核區。

材料很長時,可以一次只檢查一個小節。三句按順序發,上一句得到的清單就是下一句的輸入。

第一句裏的引用對應原句是關鍵。只讓 AI 寫出處名稱,它可能給出「服務協議第九條」這樣完整卻還沒核過的標籤。要求同時貼出對應原句,你才能看到名稱下面有沒有文字支撐。

第二句檢查的是回答能不能穩定復現。兩次一致仍然可能一起寫錯;兩次不一致已經足夠提醒你先停下。開頭那條合約期就在這一步從結論裏移了出去。

第三句裏的「材料直接寫明」把判斷標準落在字面證據上。「當月有效」最多説明有效期,贈送流量是否清零仍然缺一條明確規則,所以它要留在推測欄。

三道都過了,還剩什麼

最後剩兩條。30GB 那條能在資費説明第三條找到對應原句,可以先用。App 銷户那條給出了協議名稱,卻沒有貼出支持異地辦理的原句,需要打開協議確認。

三道防綫負責縮小待核範圍,原文負責給最後那條定案。它們都是經驗做法,能攔下一部分編造,也可能放過寫得很像出處的內容。什麼時候值得離開對話,下一頁接着講。

哪五類地方最容易被編,在 讓 AI 標出最可能編錯的五類信息。這三道的工程化版本在 校驗腳本要同時盯數量和正確性,出處換成檔案加行號。

三道篩完剩下的那一條,得翻開原文才能定。