AI / CYY
反思与评估
Agent 帮你写了一份分析报告。格式漂亮，图表齐全。但你仔细一看——它引用的数据是编的，结论是错的。
Reflection：让 Agent 自己检查自己
做法：Agent 干完活 → 换个角色（审核 Agent）再看一遍 → 发现幻觉、逻辑漏洞、格式问题 → 给出修改意见 → 退回重做。
不一定需要两个 Agent。同一个 Agent 也可以先干活、再切换到“审核模式”检查自己的产出。
关键的工程落地：
- 每次出错的轨迹记录下来（“上次这个场景我说了错误的数据”）
- 下次遇到类似场景，Agent 主动回顾之前的错误记录，规避同类问题
怎么评估 Agent 好不好：四个指标
| 指标 | 什么意思 | 为什么重要 |
|---|---|---|
| 任务成功率 | 用户要的东西，Agent 真的做完了吗？ | 最核心的交付质量 |
| 平均推理步数 | Agent 做一件事要来回几轮？ | 步数多 = 慢 + 费钱 |
| 工具准确率 | 该调 A 工具的时候调了吗？参数传对了吗？ | 减少无效请求和错误 |
| 影子测试 | 新老 Agent 在真实流量下同时跑，比输出 | 不改线上就能知道新版好不好 |
影子测试是最实用的——你不需要替换线上的 Agent。两个版本同时接收真实请求，对比输出差异。新版好了再上线，不好就继续改。
相关
- 熔断与网关
- 多Agent协作