專題篇章 · AI 產品心理學

算法厭惡:AI 犯一次錯,就被永久拉黑

上一課講信任要校準。這一課講校準路上最大的一塊石頭:人對 AI 的容錯率,遠低於對人。同樣犯一次錯,人類同事會被原諒,AI 會被棄用。這個不對稱有實驗、有數據、也有解藥。

先投一票歸因翻譯器微調權實驗棄用率儀表盤
動手 · 下個季度,你聽誰的

你是銷售 VP,手上有兩個銷量預測來源,上季度它倆犯了一模一樣的錯:同樣的數字、同樣的原因。點你下季度打算繼續用的那個。

同樣的錯,你原諒哪個 投一票
這題沒有標準答案,憑直覺點,點完看你和實驗裏大多數人一不一樣
人 · 分析師老周
👨‍💼老周
跟了你三年的銷售分析師
上季度預測華東區銷量 5,000 萬,實際 4,400 萬,高估了 12%。
複盤會上他説:競品突然降價,這個真沒料到。
AI · 預測系統
🤖SalesCast AI
用了兩個季度的預測系統
上季度預測華東區銷量 5,000 萬,實際 4,400 萬,高估了 12%。
系統日誌顯示:競品降價數據未納入本次預測模型。
這個偏心有名字 · Dietvorst 的實驗

賓大沃頓商學院,2015 年。Dietvorst、Simmons 和 Massey 讓被試預測學生的學業表現,可以自己預測,也可以交給統計模型,預測得準有獎金。關鍵設計:先讓一部分被試親眼看到模型犯錯。結果,看過模型犯錯的被試大面積棄用模型,寧可用自己更差的判斷,哪怕數據擺在眼前:模型的整體成績比人高一截。論文標題就叫 Algorithm Aversion,算法厭惡。

人們不是嫌算法不準,是嫌算法犯過錯。準不準是統計問題,犯沒犯過錯是記憶問題,用戶拿記憶做決定。
動手 · 歸因翻譯器:這句話在説人還是説 AI

偏心的根子在歸因方式:同一種錯誤,用戶腦子裏給人和給 AI 記的帳本不一樣。下面六句用戶的內心獨白,判斷每句是在評價人類同事還是AI。判完六句,三個心理根源自己浮出來。

六句獨白,判斷評價對象 0 / 6
每句點「説人」或「説 AI」,判完看歸因規律
解藥實驗 · 給一點點控制權,厭惡大幅消退

Dietvorst 團隊 2018 年接着做了後續實驗:還是那個會犯錯的模型,但這次允許被試微調模型的預測值,哪怕只允許改一點點。左邊是被試看到的介面,右邊是願意用模型的人數比例,親手切換兩種設定。

微調權實驗:兩種設定切換 切一切
forecast.example.com
學生 #47 的學業百分位預測
模型預測62
你的調整62
本設定下模型結果為最終值,不可修改。
選擇用模型的被試32%
寧可自己來的被試68%
動手 · 棄用率儀表盤:四個槓桿挨個撥

把實驗搬回你的產品。場景:AI 報銷審批助手上綫一個月,剛在一批新用戶面前算錯了一筆賬。儀表盤顯示這批用戶的預期棄用率,右邊四個工程槓桿全是你學過的開關,挨個撥開,看指針怎麼動,每個開關的原理寫在裏面。

首錯之後:棄用率還能搶救多少 0 / 4
撥動右側開關,左側棄用率當場變;四個全撥開看還剩多少
這批用戶的預期棄用率58%
首錯已發生,算法厭惡全額生效:過半用戶打算回去用 Excel。
當前狀態:AI 算錯一筆差旅費,用戶在只讀結果頁裏乾瞪眼,改不了、撤不了,問客服説「模型偶爾會這樣」。
選一選 · 剛被 AI 坑過的用戶,先給他什麼
用戶啱被 AI 嘅錯誤坑咗一次,邊個動作最能救返佢? 單選
選錯也有解釋,選到對的為止
A彈窗道歉:「非常抱歉給您帶來不便,我們的模型仍在持續優化」
B發放補償:送他一個月會員,表達誠意
C讓他親手改:錯誤處一鍵修正,系統記住這條規則並展示「已記住,下次生效」
D技術升級:連夜換上更強的模型,用準確率把信任贏回來
別忘了反方向 · 自動化偏見

算法厭惡有個反向的孿生兄弟:自動化偏見。另一批用戶會無條件接受 AI 輸出,連顯錯的都照抄,第 5 課講過全信釀成的事故。同一個產品裏兩種人都有:厭惡者需要控制權和穩定性,盲信者需要摩擦和警告。信任校準是雙向工程,只往一頭使勁,另一頭就出事。

本節要點
✓

容錯率不對稱:人的錯記給情境,AI 的錯記給能力。同樣的錯,人被原諒,算法被棄用,哪怕算法整體成績更好。

✓

解藥是控制權:2018 年的後續實驗裏,僅僅允許微調,用模型的人數翻倍,而且多數人幾乎沒動那個滑塊。要的是權利,用不用另説。

✓

首錯的位置決定生死:新手期犯錯觸發棄用,老用戶期犯錯只觸發吐槽。新用戶走最穩的鏈路,實驗性功能只對老用戶開。

✓

同一個坑只能掉一次:用戶糾正過的錯誤要進記憶並展示「已記住」,第二次在原地翻車,厭惡疊加失望,基本救不回來。

內容來源:小山學堂「AI 產品心理學」專題原創;算法厭惡實驗出自 Dietvorst, Simmons & Massey, Algorithm Aversion(2015)與 Overcoming Algorithm Aversion(2018)。