上下文管理
對話越長越貴、越長越笨
每一輪對話都要把全部歷史重新發給模型：對話越長，費用越高、注意力越分散、離視窗上限越近。這三個問題決定了：上下文不能放任不管。
三個必須管理上下文的理由
越長越貴
每輪都要重發全部歷史，token 消耗逐輪遞增，費用像滾雪球
越長越笨
注意力兩頭熱、中間冷，中間的資訊最容易被忽略
越長越危險
上下文視窗有上限，滿了之後最早的資訊被直接丟棄
對話不是免費的流水帳：越長越貴、越長越笨、越長越危險。上下文管理是 AI 產品的基本功，沒有可選的餘地。