從補全到對話

chat/completions 之謎

明明是在和大模型對話,為什麼 OpenAI 的 API 路徑裏寫的是「補全」?這個命名背後,藏着對大模型本質的理解。

一個有意思的問題

明明是「聊天」,為什麼叫「補全」?

兩家公司,兩個截然不同的命名,背後藏着對大模型本質的不同理解。

OpenAI
/chat/completions
聊天 / 補全
Anthropic
/v1/messages
正兒八經的消息
OpenAI 的隱含邏輯
大模型的本質是補全:給它一段文字,它接着往下寫。 聊天,不過是把對話格式化成「待補全的文本」,本質還是在做 Token 補全。
PM 需要懂的關鍵點
你傳給大模型的每一條消息,都會被拼成一段文本, 然後模型從這段文本的末尾開始繼續生成。 對話只是人類為了方便而加的外殼。
從補全視角看一次對話
模型實際「看到」的內容(拼接後的文本)
[system] 你係一個有幫助嘅助手。
[user] 紫霞仙子係邊個?
[assistant]
模型做的事
從 [assistant] 標記之後,預測下一個概率最高的 Token,一直到生成終止符
chat 是假象
你以為在「對話」,模型只是在「把這段文本補全完整」,這就是 completions 的真相
為什麼 PM 要知道
System Prompt、上下文、歷史消息全部拼在一起送給模型,Token 數量就是成本和質素的關鍵
OpenAI 的設計決策
這個「望文生義」的命名,
影響了全世界。
GPT + /chat/completions 這套範式,率先引爆了市場
全球開發者、框架、工具鏈全部對齊這套接口設計
理解「對話 = 補全」,是讀懂所有 AI 工程化的起點