Agent 實戰
一條訊息背後的真實成本
使用者只發了一句話，但底層可能跑了 10+ 輪迴圈、產生幾十條 API 訊息。當你開啟帳單，可能會嚇一跳。
選一個使用者訊息，看背後發生了什麼
模擬使用者傳送的訊息：
成本隨複雜度指數增長
成本的大頭在哪裡？
• System Prompt — 每輪都要重複傳送，輪次越多重複消耗越大
• Tool Results — 工具返回的文字通常很長（整個檔案內容、搜尋結果...）
• 上下文累積 — 後面的輪次要帶上前面所有訊息，滾雪球式增長
• System Prompt — 每輪都要重複傳送，輪次越多重複消耗越大
• Tool Results — 工具返回的文字通常很長（整個檔案內容、搜尋結果...）
• 上下文累積 — 後面的輪次要帶上前面所有訊息，滾雪球式增長
你的使用者每說一句話，你的帳單上可能多了 10 美分。知道成本在哪裡，才能控制成本。Agent 的成本隨輪次指數增長，遠超線性：每一輪都要把之前所有內容重新傳送給模型。