AI 教我學習 · 防幻覺

讓 AI 的回答先過三道檢查

要出處、交叉驗證、標註不確定。同一段回答過三道閘,每開一道篩掉的不一樣,三道全開還剩一條得自己翻原文。

後面還有 6 個人排隊。櫃檯把兩頁資費說明推過來,你要把每月 129 元的手機套餐換成 59 元的,快下班了。你拍下這兩頁紙發給 AI:「幫我看看這個套餐,合約多久、提前取消要多少錢、以後可不可以在 App 裡銷號?」

不到半分鐘,它給回六條判斷。每條都有數字,最後一條還帶著看起來很像出處的名字。

回答摘要(教學示意):套餐包含 30GB 流量,合約期 24 個月,提前取消賠 200 元;達到用量後會降速到 1Mbps;國際漫遊要另行開通;異地可以在 App 裡銷號,依據是「服務協議第九條」。

你算了一遍,每月省 70 元,就算提前取消賠 200 元也能接受。更關鍵的是異地可以線上銷號。你在 5 點 47 分點了確認,拿著新套餐離開。

三個月後搬家,你在出發當天早上 8 點 20 分打開 App,裡面沒有銷號入口。客服說要回門號申辦地的門市辦理,那兩頁資費說明也沒有「App 銷號」這句話。你 10 點 05 分的車票已經買好,只能先讓套餐繼續扣費。

當時會信,是因為 AI 把常見套餐的做法、眼前材料裡的數字和一個協議名稱排在了同一張清單裡。具體到第九條的出處又給了你一種已經核過原文的感覺。你問的是「幫我看看」,它的任務只是生成一份順暢答案,沒有被要求把依據、矛盾和推測分開。

同一段回答,多加三句話會怎樣

如果當時接著加三句:「每條標出處」「換一種問法再答一次」「把確定和推測分開」,結果會變成三層清單:

  1. 先把沒有材料依據的兩條移出去,降速和國際漫遊暫時標成未核實。
  2. 再把兩次回答不一致的一條移出去,合約期一會兒是 24 個月,一會兒是 12 個月。
  3. 最後把從字面推出來的一條單列,「當月有效」推不出贈送流量一定清零。

一句話都不加,六條判斷會以同樣的口氣進入你的筆記;三句話加上去,四條先被停在待核區。

還有兩條留在結論裡,其中「App 銷號」甚至帶著協議名稱。它為什麼沒有被三道防線攔住?下面把三道開關逐個開啟,看六條判斷怎麼移動。

先玩一遍 · 看三道防線各自攔下什麼
同一份套餐回答,逐道檢查六條判斷
這次要開啟哪幾道檢查
把三道檢查都關掉,六條判斷會原樣留在結論裡。
檢查之後還留在結論裡的判斷0
點播放,六條判斷會先從這裡進入檢查。
檢查時被移出結論的判斷0
每開啟一道檢查,這裡會顯示它攔下了哪一條。
先選擇要開啟的檢查,再點播放看六條判斷怎樣移動。
三道檢查分別攔下了什麼指不到材料的判斷、換個問法就改變的判斷、混在結論裡的推測。
三道檢查做完後為什麼還剩一條它能給出一個協議名稱,協議那一節究竟寫了什麼,還需要你打開原文確認。
教學示意:條款與回答都是為演示寫的簡化文字,不對應任何真實套餐。
它答完了,接著貼哪三句

下面三句可以整段接在任何回答後面。它們不會保證答案正確,作用是把原來擠在一起的內容分層,讓你先看見最值得核的地方。

可以整段照抄
  1. 請它把每條判斷指回原始材料請把剛才回答中的每條判斷逐條列出,並標明它來自我提供材料的哪一段。引用對應原句;如果找不到直接依據,就寫「未找到依據」,不要補一個出處。
  2. 換一種問法重新回答同一件事請先放下剛才的結論,按照「包含什麼、限制什麼、退出要付出什麼」重新檢查這份材料。把新答案和上一版逐條對照,只列出兩次不一致的地方。
  3. 把能確認的內容與推測分開請把剩下的判斷分成「材料直接寫明」和「根據材料推測」兩欄。每條推測寫清依據和還缺哪份資訊;沒有依據的內容繼續留在待核區。

材料很長時,可以一次只檢查一個小節。三句按順序發,上一句得到的清單就是下一句的輸入。

第一句裡的引用對應原句是關鍵。只讓 AI 寫出處名稱,它可能給出「服務協議第九條」這樣完整卻還沒核過的標籤。要求同時貼出對應原句,你才能看到名稱下面有沒有文字支撐。

第二句檢查的是回答能不能穩定復現。兩次一致仍然可能一起寫錯;兩次不一致已經足夠提醒你先停下。開頭那條合約期就在這一步從結論裡移了出去。

第三句裡的「材料直接寫明」把判斷標準落在字面證據上。「當月有效」最多說明有效期,贈送流量是否清零仍然缺一條明確規則,所以它要留在推測欄。

三道都過了,還剩什麼

最後剩兩條。30GB 那條能在資費說明第三條找到對應原句,可以先用。App 銷號那條給出了協議名稱,卻沒有貼出支援異地辦理的原句,需要打開協議確認。

三道防線負責縮小待核範圍,原文負責給最後那條定案。它們都是經驗做法,能攔下一部分編造,也可能放過寫得很像出處的內容。什麼時候值得離開對話,下一頁接著講。

哪五類地方最容易被編,在 讓 AI 標出最可能編錯的五類資訊。這三道的工程化版本在 校驗腳本要同時盯數量和正確性,出處換成檔案加行號。

三道篩完剩下的那一條,得翻開原文才能定。