Agent 實戰
一條消息背後的真實成本
用戶只發了一句話，但底層可能跑了 10+ 輪循環、產生幾十條 API 消息。當你打開帳單，可能會嚇一跳。
揀一條用戶訊息，睇吓背後發生咗咩事
模擬用戶發送的消息：
成本隨複雜度指數增長
成本嘅大頭喺邊度？
• System Prompt — 每輪都要重複發送，輪次越多重複消耗越大
• Tool Results — 工具返回的文本通常很長（整個文件內容、搜索結果...）
• 上下文累積 — 後面的輪次要帶上前面所有消息，滾雪球式增長
• System Prompt — 每輪都要重複發送，輪次越多重複消耗越大
• Tool Results — 工具返回的文本通常很長（整個文件內容、搜索結果...）
• 上下文累積 — 後面的輪次要帶上前面所有消息，滾雪球式增長
你的用戶每説一句話，你的帳單上可能多了 10 美分。知成本喺邊度，先可以控制成本。Agent 的成本隨輪次指數增長，遠超綫性：每一輪都要把之前所有內容重新發送給模型。