AI / CYY
熔断与网关
你让 Agent 帮你发一封邮件。它调邮件工具,第一次失败了。它又试了一次,又失败了。然后它开始疯狂重试——把邮件系统打挂了。
三级熔断
就像你家里的电路——某个电器短路了,那个插座的开关先跳。还不行,房间的开关也跳。再不行,总闸跳。逐级保护。
| 层级 | 规则 | 为什么 |
|---|---|---|
| 工具级 | 同一个工具连续失败 2-3 次,停用它 | 防一个坏工具把整个系统拖垮 |
| 流程级 | 最多走 N 步,单步时间不超过 X 秒 | 防死循环、防无限等待 |
| 错误分级 | 参数错了→修正重试;权限不对→直接终止;服务挂了→换个备用工具 | 不是所有错误都该重试 |
模型网关:最后一道防线
绝对不能让你业务系统直接去调大模型接口。
为什么?大模型服务可能挂了、限流了、响应超时了。你的业务系统不该关心这些。
模型网关像一个调度员站在大模型前面:
- 超时了 → 帮你中断重试
- 主模型挂了 → 自动切到备用模型
- 请求太多 → 排队,不挤爆
- 实在不行 → 降级成简单回复,不让用户干等
工具调用的三层保险
Agent 调用一个工具时,不是直接就执行了。有三层检查:
- 格式检查:Agent 传的参数对不对?比如查天气要城市名,参数里是不是真的有个城市名?
- 风险检查:这个操作危险吗?比如删库、转账——弹窗让你再确认一次。
- 自修复:如果工具返回错误,把错误信息喂回 Agent,让它自己分析原因、修正参数、重新调用。
相关
- 反思与评估
- Harness Engineering