『我訓了個模型』到底訓了什麼?
飯局上總有人舉著酒杯說「我最近訓了個模型」。這句話的水分可以從零到百分之九十九,這一頁幫你聽出他到底幹了什麼,順便學會三句能讓全桌安靜的追問。
在 AI 圈,訓練指的是改變模型本身的參數,成本從幾十萬到上億。而絕大多數人說的「訓了個模型」,實際是寫了段提示詞,或者掛了個知識庫,那是五分鐘和五千萬的區別。
大模型裡面裝著幾百億到上兆個參數。參數說白了就是一大堆數字,你可以把它們想像成調音臺上密密麻麻的旋鈕——模型的每一分本事,全都存在這些旋鈕擰到了哪個位置上。
訓練就是把這幾百億個旋鈕一個個擰對,而辦法笨得出奇:遮住後半句,讓模型猜下一個詞。比如給它「今天天氣真」,它蒙了個「香」,原文卻是「好」——猜錯了,就把參與這次判斷的旋鈕各自擰回來一丁點。一次只挪極小一格,然後換下一句,再來一遍。這個動作要重複上兆次。沖刷完,旋鈕的位置裡就沉澱下了「天氣後面更可能跟『好』,不太可能跟『香』」這件事。所謂「學會」,全部內容就是這個。
這件事費電、費卡、費錢,跟供一個孩子讀完二十年書差不多,屬於重資產工程。
而你平時對 AI 說「你是一位資深編輯,幫我潤色」,或者給它上傳一份公司資料,這些操作一個參數都沒動。打個比方:前者是重新培養一個大學生,後者是給現成的大學生遞一張便籤、發一本手冊。便籤很有用,但你不能說自己「培養了一個大學生」。
所以下次聽到「訓了個模型」,第一反應可以是:他動沒動參數?動了多少?下面這把梯子幫你把所有情況分成四層。
從下往上,每爬一層,成本和門檻都指數級上升。點選每一層,展開看它的耗時、成本和門檻。飯局上九成的「訓了個模型」,都發生在最下面兩層。
改提示詞
掛知識庫(RAG)
微調
從頭預訓練
來玩個小測:下面五句都是社交場合的高頻發言。你來猜猜,每句話說的事大機率發生在哪一層。點選項揭曉答案。
分不清對方在哪一層?不用猜,直接問。這三個問題分別卡住成本、資料、底座三個要害,答不上來的人自己會往下滑層。
「花了多少算力?」
訓練是真金白銀燒出來的。L3 起步就要租顯示卡,L4 要燒掉數千萬到上億。說不出成本量級的「訓練」,多半沒發生過。
「多少條資料?跑了幾輪?」
別問「資料從哪來」——掛知識庫和微調都會答「公司文件、業務資料」,這一問聽不出差別。要問的是量級:幾百份文件丟進檢索庫是 L2,幾千上萬條標好的問答對、還得跑上幾輪才是 L3。說得出條數和輪數的,才是真動了參數。
「底座是什麼模型?」
L1 到 L3 都站在別人的底座上,這毫不丟人,但值得說清楚。含糊其辭說「核心技術不便透露」的,可以預設是 L1。
✅ 這一頁想和你分享的
- 訓練 = 改模型參數:寫提示詞、掛知識庫都沒動參數,嚴格說都算「用模型」
- 四層梯子:改提示詞、掛知識庫、微調、從頭預訓練,每上一層,門檻指數級上升
- 聽到「訓了個模型」先問成本和資料:答不上來的,自己會往下滑層
- 改提示詞毫不丟人:九成需求它就夠了,丟人的是站在 L1 說自己在 L4