Glossary

78 terms from "验证与质量保证：别让「看起来对」蒙混过关." Look them up when you get stuck; the first mention in the text carries a hover definition.

TermDefinitionSource
看起来做完了Claude 在工作看起来完成的那一刻就会停下；在没有一个它自己能跑的检查时，这是整条链路上唯一存在的完成信号。Best practices for Claude Code — Claude Code 官方文档
验证环节当链路里没有可跑的检查时，落到人身上的那个角色：每一个错误都得等你自己去发现。Best practices for Claude Code — Claude Code 官方文档
trust-then-verify gap官方给这个现象起的名字：Claude 产出一份看起来可信的实现，而这份实现不处理边缘情况，你先信了、验的动作却没发生或发生得太晚。Best practices for Claude Code — Claude Code 官方文档
断言只能选择信或不信的说法：「逻辑是对的」「应该没问题」「已优化」「运行过程中没有出现错误」。Best practices for Claude Code — Claude Code 官方文档
证据可以被第二个人原样重跑一遍的东西：一条命令加它的原样输出、一个退出码、一组失败用例的名字、一张截图、一个 before/after 的数字对比。Best practices for Claude Code — Claude Code 官方文档
确定性系统在计算领域指给定相同输入每次都产出相同输出的系统；本课的验证器就是这种「笨得可预测」的东西，用一个确定的东西去卡一个不确定的东西。Writing effective tools for agents — with agents — Anthropic Engineering
非确定性Agent 这类系统即使起始条件完全相同也可能生成不一样的响应，就算提示词一个字没改，两次运行的决策也不确定。Writing effective tools for agents — with agents — Anthropic Engineering
复利式错误Agent 系统里错误会滚雪球：一步失败会让它转去探索一条完全不同的轨迹，并基于坏结果继续做决策，结果变得没法预测。How we built our multi-agent research system — Anthropic Engineering
沙箱环境Anthropic 建议 Agent 充分测试的场所：自主性意味着更高成本和复利式错误的可能，所以要在沙箱里测并配上恰当的护栏。Building Effective AI Agents — Anthropic Engineering
ground truth执行期间 Agent 从环境里拿到的真实反馈，比如工具调用的结果或代码执行的结果，用来评估自己的进展。Building Effective AI Agents — Anthropic Engineering
可证明的改进加复杂度的准入条件：只有当复杂度带来可证明的改进时，才值得加这份复杂度。Building Effective AI Agents — Anthropic Engineering
stop_reason模型响应里驱动 harness 循环的字段：值为 tool_use 时继续执行工具并回灌，变成 end_turn 时循环退出。Tool use with Claude — Claude API 文档
end_turnstop_reason 的一个取值，意思是模型这一轮不打算再调工具了，仅此而已。Tool use with Claude — Claude API 文档
tool_result把工具执行结果回传给模型的消息块，靠 tool_use_id 与对应的 tool_use 配对；验证器的输出就是通过它回到对话里的。Tool use with Claude — Claude API 文档
run_check把验证脚本包成模型可调用的工具，让它在循环里自己跑检查、自己读结果，退出码与 stdout 原样回传。Best practices for Claude Code — Claude Code 官方文档
退出码验证脚本表达结论的方式：0 表示通过、非零表示失败，CI 和 shell 里的 && 都能直接用。Best practices for Claude Code — Claude Code 官方文档
pass/fail检查能产出的客观二值结果；有了它循环就能自己闭合——Claude 干活、跑检查、读结果、迭代到检查通过为止。Best practices for Claude Code — Claude Code 官方文档
fixture事先存好的标准答案文件，跑完拿产出跟它比；官方检查清单里那条「把输出和它做 diff 的脚本」用的就是它。Best practices for Claude Code — Claude Code 官方文档
终态评估默认的判定方式：不判 Agent 有没有遵循某个特定流程，而是判它有没有达到正确的最终状态。How we built our multi-agent research system — Anthropic Engineering
逐轮分析终态评估要替代掉的那种做法：一轮一轮核对 Agent 的动作，试图校验每一个中间步骤。How we built our multi-agent research system — Anthropic Engineering
验证检查点复杂流程里几个离散的观察位置，在那里核对「特定的状态变化应该已经发生」，而不是校验每个中间步骤。How we built our multi-agent research system — Anthropic Engineering
恢复检查点本系列第 9 门课那个含义：把 Agent 的运行状态落盘，崩了能从那里接着跑，目的是恢复而不是判定。How we built our multi-agent research system — Anthropic Engineering
成功标准把「终态正确」落成具体数字或明确判定的那套要求；写不出它，说明这个任务本来就不该整个交给 Agent 自己跑。Define success criteria and build evaluations — Claude API 文档
可测量成功标准的第一条硬要求：使用定量指标或定义良好的定性量表，数字带来清晰度和可扩展性。Define success criteria and build evaluations — Claude API 文档
可达成成功标准的第二条硬要求：把目标建立在行业基准、既往实验、AI 研究或专家知识之上，不该对当前前沿模型的能力来说不现实。Define success criteria and build evaluations — Claude API 文档
多维评估多数用例需要沿几个成功标准一起判——几维互相拆台，取巧的空间才会小。Define success criteria and build evaluations — Claude API 文档
轨迹断言可选加项：对一组提示与响应，额外指定期望 Agent 会调用哪些工具，用来衡量它有没有领会每个工具的用途。Writing effective tools for agents — with agents — Anthropic Engineering
expectedTools评测用例里承载轨迹断言的可选字段：期望它至少碰过这些工具，不管顺序、不管调了几次。Writing effective tools for agents — with agents — Anthropic Engineering
冗余的工具调用诊断用指标之一：调用次数明显偏多，通常提示分页或 token 上限这类参数需要重新调整大小。Writing effective tools for agents — with agents — Anthropic Engineering
工具报错诊断用指标之一：大量因无效参数导致的报错，通常提示这些工具需要更清晰的描述或更好的示例。Writing effective tools for agents — with agents — Anthropic Engineering
代码判分判分方式排序里的第一名：最快、最可靠、极易扩展；短板是对需要弹性、不适合用规则硬卡的复杂判断力不从心。Define success criteria and build evaluations — Claude API 文档
LLM 判分排序里的第二名：快且灵活、可扩展、能处理复杂判断，前提是先验证裁判本身靠不靠谱再放量用。Define success criteria and build evaluations — Claude API 文档
人工判分排序里的第三名：最灵活、质量最高，但慢又贵，能免则免。Define success criteria and build evaluations — Claude API 文档
精确匹配验证器光谱最左端的形式：衡量模型输出与预先定好的正确答案是否一致，通常先做空白与大小写的归一化。Define success criteria and build evaluations — Claude API 文档
output == golden_answer精确匹配的最小形态，就是一个等号；简单、没有歧义，适合答案清晰可归类的任务。Define success criteria and build evaluations — Claude API 文档
归一化比较之前先把不承载语义的差异抹掉：折叠连续空白、去掉首尾空白、统一大小写，金额场景还要洗掉货币符号、千分位和单位。Define success criteria and build evaluations — Claude API 文档
确定性验证器本课的核心手段：用一段每次给出同样结论的代码，去卡一个非确定性系统的产出，返回 pass/fail 与可读的失败原因。Writing effective tools for agents — with agents — Anthropic Engineering
光谱验证器不是几个互斥选项而是一条连续带：一头是和基准做精确字符串比对，另一头是请 Claude 来判。Writing effective tools for agents — with agents — Anthropic Engineering
strict: true加在工具定义里的一行，确保 Claude 的工具调用严格符合你声明的 schema，把一类结构校验前移成平台层面的保证。Tool use with Claude — Claude API 文档
假阴性验证器把正确的产出判成失败：它不会放过错的，它会冤枉对的。Writing effective tools for agents — with agents — Anthropic Engineering
验证器过严确定性检查最常翻的跟头：因为格式、标点、合法的另一种措辞这类无关差异，把正确的回答判成失败。Writing effective tools for agents — with agents — Anthropic Engineering
自由文本研究、摘要这类产出：自由格式、很少有唯一正确答案，很难用程序评判，LLM 天然适合给这类输出打分。How we built our multi-agent research system — Anthropic Engineering
人工审查自动化测试之外仍然不可少的一环：测试验证功能是否正常，但要确保方案跟更大的系统要求对得上，仍需人来看。Building Effective AI Agents — Anthropic Engineering
LLM 裁判用一次模型调用给自由文本产出打分，位置在确定性检查够不着的地方，而不是替代它们。How we built our multi-agent research system — Anthropic Engineering
量表把笼统的「好不好」拆成几个具体问题、每个单独回答单独给分的评分表；研究类任务的现成拆法是五维。How we built our multi-agent research system — Anthropic Engineering
rubric量表的英文名；写法上的通用要求是让裁判输出 correct/incorrect 或 1–5 这类具体结果，纯定性评价难以快速、大规模判读。Define success criteria and build evaluations — Claude API 文档
事实准确性五维量表的第一维：简报里的论断，在它引的来源里找得到吗——这一维抓凭空生成。How we built our multi-agent research system — Anthropic Engineering
引用准确性五维量表的第二维：每条引用指向的来源，讲的确实是它所支撑的那条论断吗。How we built our multi-agent research system — Anthropic Engineering
来源质量五维量表的第四维：用的是一手来源（原始文件、官方发布、学术材料），还是排名靠前但质量低的二手转述。How we built our multi-agent research system — Anthropic Engineering
先推理后给分裁判提示词的关键技巧：让它先写判断依据再产出评分，之后把推理丢掉，能提升评判表现，复杂判断尤其明显。Define success criteria and build evaluations — Claude API 文档
Likert问卷里那种「非常不同意／不同意／中立／同意／非常同意」的五级刻度，这里换成让 LLM 判主观态度或观感。Define success criteria and build evaluations — Claude API 文档
optional_notes裁判输出里专门安放「其余建议」的字段，明说它不参与打分、不影响 verdict。Best practices for Claude Code — Claude Code 官方文档
找茬裁判的第一种失效方式：被要求去找缺口的评审者通常总会报出一些来，哪怕这份工作本身是扎实的——因为那就是你要求它做的事。Best practices for Claude Code — Claude Code 官方文档
过度工程追杀每一条评审发现的后果：多余的抽象层、防御性代码、以及为根本不可能出现的情况写的测试。Best practices for Claude Code — Claude Code 官方文档
全新上下文评审者该待的地方：只看得到产出和你给的标准，看不到产生这个改动的推理过程，因此按结果本身评判。Best practices for Claude Code — Claude Code 官方文档
自述Agent 对自己过程的描述（「我检索了三个权威来源，交叉核对后确认了比例」）；它本身不算证据。Writing effective tools for agents — with agents — Anthropic Engineering
原始记录包含工具调用与工具响应的执行流水，用来抓出那些没有在 Agent 思维链里明说的行为。Writing effective tools for agents — with agents — Anthropic Engineering
投票阈值调节裁判松紧的旋钮：用多个提示词分别评不同方面、或要求不同的通过票数，以此在假阳性和假阴性之间取平衡。Building Effective AI Agents — Anthropic Engineering
假阳性验收场景里指「把没问题的判成有问题」，代价是你被假警报烦死；它的另一面是把有问题的放过去。Building Effective AI Agents — Anthropic Engineering
模糊用例连人类之间都很难达成评判共识的题目；专门收一类进评测集，不是为了提高分数，是为了暴露分歧。Define success criteria and build evaluations — Claude API 文档
效应量一次改动带来的差距有多大——是从 71.2% 挪到 72.4%，还是从 30% 跳到 80%；差距越大需要的样本越少。How we built our multi-agent research system — Anthropic Engineering
评测集一组配了可验证结果的任务；官方起步规模是大约 20 条能代表真实用法的查询，不必等攒够几百条。How we built our multi-agent research system — Anthropic Engineering
可验证的结果每一条评测提示词都该配的东西：一个能判定的终态、字符串、状态变化或一份量表；没有它的提示词不算评测任务，只算试玩。Writing effective tools for agents — with agents — Anthropic Engineering
边缘用例低频但会真实发生的情况（信息缺失、多诉求混杂、工具报错），是评测集里的保险，不是主体。Define success criteria and build evaluations — Claude API 文档
数量优先于单条质量评测集设计原则：更多的题目配上判分信号稍微糙一点的自动判分，好过更少的题目配上高质量的人工精判。Define success criteria and build evaluations — Claude API 文档
真实分布评测要贴合的东西：你的评测任务该扎根真实世界的用法，能指着某条 prompt 说「上周有三个用户就是这么问的」。Define success criteria and build evaluations — Claude API 文档
留出集从一开始就分出去、日常调优时不看不跑不碰的一批用例，靠它确保没有过拟合到「训练用」的那批评测上。Writing effective tools for agents — with agents — Anthropic Engineering
调优集日常改提示词时反复跑的那一批用例，跑得越勤越好；它的分数是导航，不是结论。Writing effective tools for agents — with agents — Anthropic Engineering
过拟合整套提示词加工具配置学会的是评测材料的特征，而不是任务本身的规律——比如为某条老失败的用例在系统提示里写死一句话。Writing effective tools for agents — with agents — Anthropic Engineering
mustCallTools评测用例 expected 里的确定性断言字段，声明这条任务必须调到哪些工具；配套的还有 mustContain、mustNotContain。Writing effective tools for agents — with agents — Anthropic Engineering
内容农场人工测试发现的真实偏差：早期 Agent 一贯偏爱 SEO 优化过的内容农场，而放过学术 PDF、个人博客这类权威但排名靠后的来源。How we built our multi-agent research system — Anthropic Engineering
人工测试即使在自动化评测齐备的世界里依然必需的一环：人能发现评测漏掉的边缘情况，包括罕见查询上的幻觉、系统性故障和微妙的来源选择偏差。How we built our multi-agent research system — Anthropic Engineering
不保证官方文档对某些理想行为的措辞（比如模型会主动追问缺失的必填参数），对含糊提示词和能力较弱的模型尤其如此。Tool use with Claude — Claude API 文档
评测跑道把评测集、分层判分和 harness 循环焊起来的那个可反复跑的程序：敲一行命令，分数告诉你哪条变好、哪条没动、有没有把已经对的改坏。Writing effective tools for agents — with agents — Anthropic Engineering
桩 client一个假的 messages.create，按写死的队列顺序吐响应，把模型行为变成受控变量，让整条跑道可复现。Writing effective tools for agents — with agents — Anthropic Engineering
响应队列桩 client 背后那份预写好的响应序列；两个提示词版本的差异就靠两套队列钉死，「假设新提示词生效后模型会这么答」被写成了数据。Writing effective tools for agents — with agents — Anthropic Engineering
任务隔离一条评测任务一个独立循环、一份独立的 messages，跑完就扔；实现上只要别把 messages 提到函数外面去。Writing effective tools for agents — with agents — Anthropic Engineering
is_error回传工具异常时打在 tool_result 上的标记：把异常接住、包成带这个标记的结果还给模型，同时给报错计数器加一。Tool use with Claude — Claude API 文档