專題篇章 · AI 產品心理學

信任校準:最好的用戶是半信半疑的

前四課都在給體驗掙分,這一課踩一腳剎車:信任這個指標,目標值從來就沒定在滿分。AI 會出錯是改不掉的物理現實,所以健康的用戶長這樣:該信的場景放心用,該查的場景留個心眼。往哪邊偏都要交學費。這一課先看兩筆真實學費,再給你三件能親手撥弄的校準工具。

先看兩種翻車姿勢
全信的出事故,不信的白花錢。信任校準(Trust Calibration)的奠基綜述 Lee & See(2004)把要求説得很清楚:信任要和系統的真實能力對齊。信高了叫誤用(misuse),信低了叫棄用(disuse),兩頭各有各的帳單。
⚠ 過度信任:把幻覺當真相用

2023 年紐約的 Mata v. Avianca 案:執業律師用 ChatGPT 檢索判例,把 6 個查無此案的編造判例原樣抄進法庭文書,法官逐個核實後律師吃了罰單、上了全球新聞。類似的事故此後接連發生:AI 的輸出流暢、自信、格式規範,每一個表面特徵都在誘導「它很可靠」的判斷,而這些特徵和內容真偽互不相干。

⚠ 信任不足:AI 變成昂貴的擺設

另一頭的翻車安靜得多:企業買了 AI 工具,員工試了一次撞上錯誤,從此每條輸出都逐句複核,複核成本超過自己寫,最後乾脆不用了。採購的錢照付,效率一分沒漲。信任不足不上新聞,只出現在「AI 工具活躍率 8%」的內部複盤裏。

系統實際的可靠程度 → 用戶以為的可靠程度 → 過度信任區 · 誤用 信任不足區 · 棄用 校準綫:信任 = 真實能力
橫軸是系統真的有多可靠,縱軸是用戶以為它有多可靠。產品設計的任務:把落在兩個角落裏的用戶,往對角綫上拉。往下的三件工具,拉的都是這根綫。
六個用戶,逐個把脈

判斷口訣先給你:盯着「風險 × 可核驗性」看,別盯着「AI 強大與否」看。同樣是全盤採納,用在週報上是校準,用在法庭上是過度。六個場景,你來當校準師。

這六個用戶,信任健康嗎 0 / 6
三個選項:過度信任、信任不足、校準良好。先判斷,再看解析。
把引用做成能點開的

第一件校準工具:來源引用,要能點開的那種。想核實的用戶一鍵到原文,壓住過度信任;懶得核實的用戶看到「有出處」也建立了合理的底氣,補上信任不足。一舉兩得的前提是引用真實可點:裝飾性的假引用被戳穿一次,比沒有引用糟糕十倍。下面這條 AI 回答掛了三個角標,逐個點開,和原文比對。

三條引用,揪出對不上的那條 0 / 3 已點開
點角標 [1][2][3] 展開原文卡片,比對回答裏那句話和原文説的到底一致嗎。
問:試用期第二個月被公司口頭辭退,我可唔可以主張賠償?
可以主張。用人單位在試用期解除勞動合同,應當向你説明理由[1];如果構成違法解除,賠償金按經濟補償標準的二倍支付[2]。注意別拖:勞動仲裁的申請時效為一年,從被辭退當天起算[3]。建議先保留辭退通知、考勤和工資記錄等證據。
三條引用入面有一條對唔上原文,係邊條?
親手調一版置信度信號

第二件工具:置信度。第一篇章講過,模型不知道自己不知道,讓它自報把握靠不住。但產品層有誠實的代理信號:檢索命中了幾篇文檔、相關度多高、多個來源是否一致、知識截止日期蓋住問題了沒有。下面是同一條用藥回答,三組開關對應三個產品決策,撥一撥,看右邊的回答和用戶的信任校準度怎麼變。

置信度信號設計器 撥一撥
回答措辭
來源引用
警告條
用戶信任校準度
22
布洛芬同對乙酰氨基酚,發燒可唔可以交替食?
[1] 解熱鎮痛藥臨牀應用指南 [2] 藥典 · 非甾體抗炎藥 [3] 三甲醫院用藥問答庫
狼來了,連喊五遍試試

第三件工具管的就一件事:那行「AI 可能出錯,請核實重要信息」的小字,到底有沒有人在看。心理學的答案叫橫幅盲視(banner blindness):Benway & Lane(1998)用眼動實驗發現,恆定出現在固定位置的元素,會被大腦當成背景紋理直接濾掉。下面連點五條回答,親眼看這行小字怎麼消失。

恆定免責 vs 條件警告 第 0 / 5 條
先在「恆定免責組」點滿五條,再切「條件警告組」對比。橫幅的濃淡模擬的就是用戶注意力的鈍化。
用戶對警告的注意力
100
出處與延伸:信任校準的奠基綜述是 Lee & See (2004) Trust in Automation: Designing for Appropriate Reliance,誤用(misuse)與棄用(disuse)的提法出自 Parasuraman & Riley (1997);律師抄幻覺判例為真實案件 Mata v. Avianca, Inc. (S.D.N.Y. 2023);橫幅盲視見 Benway & Lane (1998) 的眼動研究。信任跌落之後怎麼修,第 6 課講算法厭惡(Dietvorst et al., 2015)時接着説;高危動作的人工閘門,第 7 課防禦心理裏有完整的設計譜系。

✅ 這一課想和你分享的