基礎原理
AI 的食物:訓練資料
想讓 AI 學會說話,先要餵給它數以兆計的文字。它讀了人類寫過的絕大多數內容。
資料規模與構成
~1B
Tokens(詞元)· 小模型訓練資料量級
讀了多少,就能說多少。
訓練資料的品質和多樣性,決定了模型世界觀的上限。
訓練資料的品質和多樣性,決定了模型世界觀的上限。
拖動滑條 · 感受不同參數量模型的能力差異
270M
幻覺
問:李知恩是誰?請介紹一下她的生平和代表作品。