第 5 课:发现与纠正
本课目标:
- 向 agent 发送具体纠正信息。
- 记录错误日志,包含错误类型、如何发现、纠正后的结果。
- 在自己的 agent 聊天中记录第一次发现的错误。
先修条件:第 4 课 | 上一篇 << 04 找出错误 | 下一篇 README >>
发现错误只是完成了一半
发现错误不是任务结束,而是循环的开始。如果你告诉 agent 具体改什么,它就能修改。好的纠正不是“请再做好一点”,而是指出错误、指向证据、重申验收标准的信息。这个循环——发现、报告、修改、验证——让交代变得可靠1。
讲解
纠正循环有四步。第一步,把输出和你之前写的验收标准对比。第二步,用具体语言描述失败。第三步,agent 修改。第四步,你根据同一标准验证新输出。这和 Anthropic 的 agent 构建指南推荐的一致:在检查点引入人工反馈,能防止 agent 偏离轨道1。
这张图展示了纠正循环。关键是结果不直接使用,而是先过标准;如果不通过,就发回具体修改。
模糊的纠正会让循环变长。“改一下”给了 agent 再次猜测的空间。具体的纠正指出位置、错误和标准。例如:“输出列出了三个行动项,但记录里有五个。加上两个缺失的项:预算审阅和客户回访。每一项都必须有负责人和截止日期。”
错误日志是你发现的内容和如何修复的简单记录。它可以放在笔记、电子表格或文档里。日志把一次错误变成可复用的模式。记录几条之后,你会发现 agent 最常犯哪些错误,以及你总忘记写哪些验收标准。
一条好的错误日志包含四部分:
- 原始请求 —— 你要求了什么。
- 错误类型 —— 幻觉、过时事实、范围收缩或答非所问。
- 如何发现 —— 你对照来源或标准所做的比较。
- 纠正后的结果 —— 修改后的输出长什么样,或者你改变了请求中的什么来预防它。
完整示例(跟着做)
Maya 让 agent 把会议记录转成一份带负责人和截止日期的行动项列表。她的验收标准是:每个项都有具体负责人、每个截止日期都是日历日期、每个项都只有一行。
agent 返回:
这是第 3 课的同一个例子,但现在 Maya 用四种错误类型的视角来看。她标记为:范围收缩 和 答非所问。agent 把“具体负责人”改成了“团队负责人”,把“日历日期”改成了模糊说法。它也没有满足每个截止日期必须是日期的要求。
她发送这条纠正:
“输出不符合验收标准。第一,‘设计团队’不是具体负责人,请换成一个人。第二,‘尽快’和‘下个阶段’不是日历日期,请换成月/日/年格式。第三,‘15 号’缺少月份和年份,请补全日期。返回修正后的表格。”
agent 返回:
Maya 用同一标准验证新表格。通过。她把这条记录进错误日志。
你来试试(填空示例)
你让 agent 用恰好三句话总结一份合同,要求提到价格、期限和取消条款。agent 返回:
“这是一份软件服务合同。期限为一年,可以取消。价格很有竞争力,详见附件文件。”
填写纠正信息。
输出有三个问题。第一,没有说明 __________ 价格,只说“很有竞争力”。第二,取消条款被说成 __________,而不是引用条款原文。第三,期限是 __________,这没问题,但价格和取消条款需要修改。请返回修改后的摘要,说明确切价格、引用取消条款原文,并保留期限。
答案: 第一空:确切的。第二空:“可以取消”或含糊的。第三空:一年。
小结 + 下节课预告
交代不是一次交易,而是一个循环。你写清楚请求,按标准检查结果,命名错误类型,发送具体纠正,并记录日志。日志是这门课的真正产物:它把每一次发现的错误变成下一次更好的请求。你现在掌握了完整循环:明确请求 → 检查结果 → 发现错误 → 纠正输出。
Footnotes
-
Anthropic: Building Effective AI Agents — https://www.anthropic.com/engineering/building-effective-agents ↩ ↩2
练习
在自己的 agent 聊天里完成这个练习。交代一个小任务,检查结果,发现一次错误。然后把它作为第一条错误日志条目记录下来。
第 2 级(进阶):记录你第一次发现的错误方法指导: 向 agent 发送一个真实的小任务。发送前写好验收标准。收到结果后,用第 4 课的四种错误类型对照标准检查。跑一轮并记录发现。如果没发现错误,也可以作为有效条目,但要说明你检查了哪些内容。
如果你手头没有任务,可以复制粘贴这个默认小任务:
把这条会议记录转成两列表格:行动和负责人: “团队同步——Priya 周五前发送预算。Jordan 预定会议室。Maya 周三前确认议程。”
错误日志模板:
- 错误类型:___________________
- 如何发现:___________________
- 纠正后的结果长什么样:___________________
完成标准:
- 条目命名了错误类型:幻觉、过时事实、范围收缩、答非所问,或“检查了 X 和 Y 后未发现错误”。
- 条目说明了如何发现:你对照来源、标准或原始请求所做的具体比较。
- 条目描述了纠正后的结果长什么样,或者你改变了请求中的什么来预防下次再犯。
解答 / 关键要点: 完整条目看起来像这样:“原始请求:用一段话总结退款政策。错误类型:范围收缩。如何发现:输出只覆盖了 30 天退货窗口,忽略了我问到的礼品收据部分。纠正后的结果:我发送纠正‘加上礼品收据政策,并保持总结在一段话内’,agent 在一段话内补上了缺失的部分。”
渐进提示:
- 第一提示:如果输出好得不像真的,挑一个事实去对照来源验证。
- 第二提示:如果你发现不了错误,让 agent 解释它是怎么得出输出中的每一项的。
- 第三提示:如果 agent 反复犯同一个错误,你的验收标准可能需要更具体。__