PART 5 · Harness 與自我改進

工作流設計：從手工到自動搜尋

工作流的設計空間巨大。我們應該用演算法去搜尋，只靠手動設計遠遠不夠。

Workflow Design & Automated Search

當工作流本身成為搜尋空間，設計就從藝術變成了工程

從完全手工的管線設計，到用 MCTS 自動發現最優工作流，Agent 系統的設計典範正在發生根本轉變。程式碼是定義 Harness 的通用語言。
手工設計的工作流
💬 講人話：工作流就是給 AI 安排的做事流程表。就像新員工入職，你得告訴他「先做 A，再做 B，出問題找 C 核對」。以前這張流程表全靠人一步步寫，下面這兩個例子就是人手工寫出來的最強流程表。
Lu et al. 2026
AI Scientist
構建完整的科研自動化管線
核心思想：將科學研究的完整流程交給一個 Agent 系統自動完成：從零開始執行一輪完整的研究迴圈。

管線流程：
關鍵創新：每一步都由 LLM 驅動，形成端到端的自動化科研系統。評審環節引入 LLM-as-judge 做品質把關。
AI Scientist Pipeline
AI Scientist 的完整管線：從研究構思到論文寫作與同行評審，全部由 Agent 自動化執行。（Lu et al. 2026）
Kulikov et al. 2026
Autodata
資料科學家 Agent：合成難度恰到好處的資料
核心思想：透過多角色協作，自動合成訓練資料，使資料難度精確可控：strong solver 能做出，weak solver 做不出。

角色體系：
Challenger出題者
Weak Solver弱解題者
Strong Solver強解題者
Verifier / Judge驗證裁判
關鍵創新：用難度差作為資料品質訊號：只有同時滿足強者能解、弱者不能解的題目才被保留，確保合成資料對提升模型有最大價值。
Autodata System
Autodata 的多角色協作體系：Challenger 出題，Strong/Weak Solver 試解，Verifier 仲裁資料品質。（Kulikov et al. 2026）
ADAS: 自動化 Agent 系統設計
💬 講人話：手寫流程表太累，那能不能讓 AI 自己給 AI 設計流程表？ADAS 就是這個思路：僱一個設計師 AI，讓它不停畫新的流程表、試跑、打分，把好用的留下來。相當於讓老師傅帶徒弟的工作也自動化了。
Hu et al. 2025
ADAS — Automated Design of Agentic Systems
將 Agent 設計本身視為優化問題
核心思想：讓一個 "Meta-Agent" 在 Agent 設計空間中自動搜尋最優方案，取代手工設計 Agent 架構。這就是 "meta-agent search"。

工作機制：
1. Meta-Agent 先生成一個高層描述（Agent 的架構、工具使用、推理策略）
2. 將高層描述實現為可執行程式碼
3. 透過 self-refine 檢查新穎性：確保不是簡單重複已有方案
4. 在基準任務上評估，保留表現最好的設計

關鍵創新：用程式碼作為 Agent 設計的搜尋空間表示，使設計可以被自動生成、修改和評估。
ADAS Meta-Agent Search
ADAS 的 Meta-Agent Search：Meta-Agent 生成候選 Agent 設計→實現為程式碼→評估→迭代優化。（Hu et al. 2025）
AFlow：基於 MCTS 的工作流搜尋
💬 講人話：ADAS 是讓 AI 隨便發揮想新方案，AFlow 則更進一步，用下棋 AI 同款的棋盤推演法（MCTS，蒙特卡洛樹搜尋）來找最優流程。就像 AlphaGo 下棋前會在腦子裡推演幾百步「如果我走這裡，對方會怎樣」，AFlow 也是在腦子裡推演幾百種流程改法，哪條路線得分高就往哪邊深挖。
Zhang et al. 2025
AFlow
將 Agent 工作流表示為圖，用 MCTS 自動優化
核心思想：把工作流表示為有向圖：節點是 LLM 呼叫動作，邊是程式碼中的邏輯操作（條件分支、迴圈、資料傳遞）。然後用蒙特卡洛樹搜尋（MCTS）在這個圖空間中自動尋找最優工作流。

MCTS 優化流程：
  1. 初始化起始工作流作為搜尋樹的根節點
  2. 用 soft mixture of score and uniform exploration 選擇待擴展節點（平衡利用與探索）
  3. 讓 LLM 生成修改後的工作流變體（新增/刪除/修改節點和邊）
  4. 在目標任務上執行並評估新工作流的表現
  5. 如果有改進，加回搜尋樹中作為新的候選
  6. 重複直到 top-k 平均分穩定或達到計算預算
關鍵創新：將工作流設計問題轉化為樹搜尋問題，讓 MCTS 的探索-利用平衡機制自動發現好的工作流結構，無需人類手工設計。
AFlow Architecture
AFlow 的圖表示與 MCTS 搜尋：工作流被表示為節點（LLM 動作）和邊（邏輯操作）的有向圖。（Zhang et al. 2025）
AFlow 實驗結果
方法 設計方式 搜尋策略 核心優勢
手工設計 人類專家迭代 無（憑經驗） 可解釋性強
ADAS Meta-Agent + 程式碼 Self-refine 自動化設計
AFlow 圖表示 + MCTS 蒙特卡洛樹搜尋 系統化搜尋 + 穩定收斂
AFlow Experimental Results
AFlow 在 QA、程式碼生成、數學推理等任務上的表現對比：系統化搜尋優於手工設計和 ADAS。（Zhang et al. 2025）
逐步體驗：AFlow 的 MCTS 搜尋過程
就緒
1
初始化
W₀: Plan → Execute 得分 52
從最簡單的單步工作流開始。沒有反思、沒有驗證、沒有並行。
2
擴展：LLM 提出變體
W₁: +Reflect61 W₂: +Verify58 W₃: +Decompose55
讓 LLM 基於 W₀ 生成三個修改方案，分別加入反思、驗證、任務分解。
3
評估 & 選擇父節點
W₁: 61 ← 選中
W₁ 得分最高（61 > 58 > 55），選它作為下一輪擴展的父節點。
4
再次擴展
W₄: Reflect×265 W₅: Reflect+Verify78 🏆
從 W₁ 擴展兩個方案：雙重反思 vs 反思+驗證組合。後者大幅領先！
5
剪枝 & 收斂
W₃: 55 ✗ W₆: 56 ✗ W₅: 78 ✓ 最優
分數低於閾值的工作流被剪枝。W₅（Plan → Execute → Reflect → Verify → Output）確認為搜尋到的最優方案。比手工設計高出 50%！

核心洞見