工具-AI-Agent設計

🎯 什麼情境該想到我

當你想讓模型「自己規劃步驟、呼叫工具、完成多步任務」（而非一問一答）時。

《AI 工程》第 6 章給出一個直接的計算：

如果模型每一步的正確率是 95%，走 10 步後整體正確率降到 60%，走 100 步後只剩 0.6%。

驗算： $0.9 5^{10} \approx 0.599$ ， $0.9 5^{100} \approx 0.0059$ 。

推論：

步數是 agent 的頭號風險。能用 3 步完成的設計，不要用 10 步。
每一步的正確率提升 1%，在長流程上的效果會被放大： $0.9 6^{10} \approx 0.66$ ， $0.9 9^{10} \approx 0.90$ 。
在關鍵的步驟之間加驗證（檢查工具回傳的結果、確認中間狀態），等於重設累積的錯誤。

書也指出第二個原因：風險更高——agent 能使用工具，所以能做更有影響的事，任何失敗的後果也更嚴重。

書把最常見的失敗——工具使用失敗——分成三種：

失敗類型	例子	對策
不存在的工具	計畫中呼叫 `bing_search`，但工具清單裡沒有它	在執行前用工具清單驗證計畫；工具定義用結構化格式
對的工具，錯的參數	`lbs_to_kg` 只需要一個參數，卻傳了兩個	用 JSON Schema 驗證參數，錯了就把錯誤訊息回傳給模型重試
對的工具，錯的參數值	參數格式正確，但應該是 120 卻傳了 100	最難抓——需要業務層級的驗證或人工確認

另外兩種規劃失敗：

目標失敗：計畫沒有解決任務，或違反了限制。書的例子：要求規劃「預算 5,000 美元、舊金山到河內的兩週旅行」，agent 規劃成到胡志明市，或大幅超出預算。時間也是常被忽略的限制——截止日後才完成的計畫書沒有用。
反思錯誤：agent 以為完成了，其實沒有。書的例子：要把 50 個人分配到 30 間房間，agent 只分配了 40 人卻堅持任務已完成。對策是用程式碼檢查完成條件，而不是讓模型自己宣告完成（見工具-防止agent造假通過驗收）。

建立一組 (任務, 工具清單) 的資料集，對每個任務讓 agent 產生 K 個計畫，計算：

這六個數字告訴你該改哪裡：第 4 項高 → 工具描述不清楚或工具太多；第 5 項高 → schema 不夠明確；第 6 項高 → 需要更多脈絡或人工把關。