AI agent 协作：任务委派与结果验收入门 · Lesson 4 of 5

第 4 课：找出错误

本课目标：

  • 说出 agent 四种常见错误：幻觉、过时事实、范围收缩、答非所问。
  • 把一个真实 agent 输出归类为四种之一。
  • 解释为什么检查这些错误时“看起来不错”是不够的。

先修条件：第 3 课 | 上一篇 << 03 检查结果 | 下一篇 05 发现与纠正 >>

答案看起来很完整，这正是陷阱

agent 可以返回一个读起来自信、格式正确、但仍然是错的结果。最难发现的错误是那些看起来像成功的错误。本课给你四种 agent 出错方式的标签，让你在采信输出之前先发现失败12。

讲解

agent 出错的原因各不相同，每种原因留下不同的痕迹，也需要不同的修复。四种常见类型是幻觉、过时事实、范围收缩和答非所问。这是本课程的教学框架，综合了实践者的报告以及官方对 agent 设计中 ground truth（事实基准，即你拿来对照的真实答案）和检查点的强调312，之所以选择这四类，是因为每一类都有不同的识别特征。

错误类型看起来什么样快速检查
幻觉agent 编造事实、名字、日期、引用或动作。我能在来源材料中找到这个说法吗？
过时事实agent 使用了曾经正确但不再最新的信息。这个答案是否依赖知识截止日期？
范围收缩agent 做得比你要求的少，改变了任务，或者停在更简单的版本。输出是否符合原始请求的每个部分？
答非所问agent 回答得自信，但没有回答你真正的问题。这个回复是否针对你问的那件事？

幻觉

幻觉发生在模型生成一个看起来合理、但与现实不符的延续时。在聊天机器人中，这意味着错误答案。在 agent 中，它也可能意味着错误动作或编造的引用1。表格可能列出一个不存在的来源，摘要可能引用一个从未说过 agent 所声称内容的人。修复方法是对比来源材料。

过时事实

过时事实不是谎言，只是旧了。agent 的训练数据有截止日期，世界仍在变化。价格、政策、软件版本和截止日期都是常见的过时事实4。当你问“当前价格”或“最新规则”时，agent 可能返回几个月前正确的东西。修复方法是要求实时来源或日期，并对照现实世界验证。

范围收缩

范围收缩是 agent 悄悄缩小任务。它可能只回答了你的三个问题中的一个，用摘要代替分类，或者漏掉你设定的边界。它不是范围蔓延的反义词，而是它自己的模式：agent 在没告诉你的情况下把任务改成更容易的。修复方法是逐行把输出和原始请求对比。

一个日常例子：你让 agent 写一条关于你狗狗生日派对的朋友圈。帖子说派对下午 3 点开始，但你根本没给时间。这个编造细节是幻觉；但如果 agent 还跳过了你要求的照片说明，那同时发生了范围收缩。

答非所问

答非所问是看起来完整但偏离重点的回复。agent 可能给你背景、定义和一般性建议，但从未回答你的具体问题。这常发生在 agent 在长任务中偏离原始目标，或者问题很难，agent 找到了一个更容易的邻近问题来回答1。修复方法是把问题更窄地问一遍，并指出具体缺了什么。

完整示例（跟着做）

你让 agent：“阅读附上的退款政策。告诉我能否在 30 天后退货，并引用明确说明这一点的原句。”

agent 返回：

“大多数商品可在 30 天内退货。政策规定，30 天后的退货通常不被接受，但可能存在例外。原句是：‘30 天窗口期之后提出的退货将按个案考虑。’”

我们来归类错误：

  • 幻觉： agent 声称政策说 30 天后“将按个案考虑”。这句话在附上的政策里不存在。这是编造的。
  • 范围收缩： agent 加了“可能存在例外”并把答案软化。问题要求根据政策给出是/否，并引用原句。agent 没有给出明确的是/否。
  • 答非所问： agent 没有真正回答商品能否在 30 天后退货。它给出的是背景，而不是直接答案。

这一个输出包含了四种错误中的三种。修复方法是发回：“政策里没有你引用的那句话。用明确的是或否回答，并只引用附上政策中的原句。”

你来试试（填空示例）

你让 agent 总结昨天关于某家公司的新闻。它返回：

“这家公司这个季度表现强劲。营收为 124 亿美元，比去年增长 8%。CEO 表示，公司对 AI 驱动的增长持乐观态度。”

标出你能发现的错误类型。填空。

  • agent 没有使用昨天的新闻，而是给了泛泛总结。这是 __________。
  • 营收数字可能过时或编造。如果无法核对，这要么是 __________，要么是 __________。
  • 如果 agent 引用 CEO 却没有来源，这句引用可能是 __________。

答案：

  • 泛泛总结而不是昨天新闻：答非所问（也可以说是范围收缩，因为它把任务从“昨天新闻”改成了“泛泛总结”）。
  • 可能过时或编造的营收数字：过时事实 或 幻觉。
  • 没有来源的 CEO 引用：幻觉。

小结 + 下节课预告

四种错误不只是标签，它们是搜索模式。幻觉、过时事实、范围收缩、答非所问各自留下不同的痕迹，知道痕迹就更容易找到修复方法。下节课，你将把发现的错误变成具体纠正，并开始记录错误日志。

Footnotes

  1. AI/TLDR: Common AI Agent Failure Modes — https://ai-tldr.dev/learn/ai-agents/agent-fundamentals/common-ai-agent-failure-modes/ ↩ ↩2 ↩3 ↩4

  2. NimbleBrain: AI Agent Failure Modes — https://nimblebrain.ai/why-ai-fails/agent-governance/agent-failure-modes/ ↩ ↩2

  3. Anthropic: Building Effective AI Agents — https://www.anthropic.com/engineering/building-effective-agents ↩

  4. AIToolsUsageGuide: Why AI Gives Wrong Answers — https://aitoolsusageguide.org/why-ai-gives-wrong-answers/ ↩

Exercises

01

找一个你最近收到的 agent 结果。重新读一遍，按四种错误类型逐一检查。为每种类型写一句话，说明是否发现了该类型错误，或者为什么该类型不存在。

第 1 级（热身）
Done criteria · checked locally
02

找一个包含两种不同错误类型的 agent 结果。对每种错误，写出输出中的具体句子、错误类型，以及它违反了原始请求中的哪一部分。

第 2 级（进阶）
Done criteria · checked locally