演算法厭惡:AI 犯一次錯,就被永久拉黑
上一課講信任要校準。這一課講校準路上最大的一塊石頭:人對 AI 的容錯率,遠低於對人。同樣犯一次錯,人類同事會被原諒,AI 會被棄用。這個不對稱有實驗、有資料、也有解藥。
你是銷售 VP,手上有兩個銷量預測來源,上季度它倆犯了一模一樣的錯:同樣的數字、同樣的原因。點你下季度打算繼續用的那個。
跟了你三年的銷售分析師
用了兩個季度的預測系統
賓大沃頓商學院,2015 年。Dietvorst、Simmons 和 Massey 讓被試預測學生的學業表現,可以自己預測,也可以交給統計模型,預測得準有獎金。關鍵設計:先讓一部分被試親眼看到模型犯錯。結果,看過模型犯錯的被試大面積棄用模型,寧可用自己更差的判斷,哪怕資料擺在眼前:模型的整體成績比人高一截。論文標題就叫 Algorithm Aversion,演算法厭惡。
偏心的根子在歸因方式:同一種錯誤,使用者腦子裡給人和給 AI 記的帳本不一樣。下面六句使用者的內心獨白,判斷每句是在評價人類同事還是AI。判完六句,三個心理根源自己浮出來。
Dietvorst 團隊 2018 年接著做了後續實驗:還是那個會犯錯的模型,但這次允許被試微調模型的預測值,哪怕只允許改一點點。左邊是被試看到的介面,右邊是願意用模型的人數比例,親手切換兩種設定。
把實驗搬回你的產品。場景:AI 報銷審核助手上線一個月,剛在一批新使用者面前算錯了一筆帳。儀表盤顯示這批使用者的預期棄用率,右邊四個工程槓桿全是你學過的開關,挨個撥開,看指標怎麼動,每個開關的原理寫在裡面。
演算法厭惡有個反向的孿生兄弟:自動化偏見。另一批使用者會無條件接受 AI 輸出,連顯錯的都照抄,第 5 課講過全信釀成的事故。同一個產品裡兩種人都有:厭惡者需要控制權和穩定性,盲信者需要摩擦和警告。信任校準是雙向工程,只往一頭使勁,另一頭就出事。
容錯率不對稱:人的錯記給情境,AI 的錯記給能力。同樣的錯,人被原諒,演算法被棄用,哪怕演算法整體成績更好。
解藥是控制權:2018 年的後續實驗裡,僅僅允許微調,用模型的人數翻倍,而且多數人幾乎沒動那個滑塊。要的是權利,用不用另說。
首錯的位置決定生死:新手期犯錯觸發棄用,老使用者期犯錯只觸發吐槽。新使用者走最穩的鏈路,實驗性功能只對老使用者開。
同一個坑只能掉一次:使用者糾正過的錯誤要進記憶並展示「已記住」,第二次在原地翻車,厭惡疊加失望,基本救不回來。
內容來源:小山學堂「AI 產品心理學」專題原創;演算法厭惡實驗出自 Dietvorst, Simmons & Massey, Algorithm Aversion(2015)與 Overcoming Algorithm Aversion(2018)。