本周要回答： 模型说任务成功，文件、数据库或用户实际得到的结果真的成功了吗？
进入本周前： 已有最小只读 agent；能复现一次工具执行和记录最后状态。
- 01定义成功
- 02固定案例
- 03观察实际状态
- 04记录全部结果
学习内容与理解目标
评测不是准备几个好看问题截图，而是明确任务、预期结果、允许的证据、失败类型与成本。本周把结果检查分成机器能判断的条件、需要人工判断的质量，以及允许用模型辅助但必须复核的部分。格式合法、引用真实、任务完成和表达流畅是不同维度。
评测集既要有正常输入，也要包括缺证据、错误版本、工具失败和必须拒绝的情况。初期十几条只是冒烟检查，不足以说明总体可靠性。对随机行为可重复运行，但要记录尝试次数，不能只保留最好的一次。工程思路参考 R42 · Anthropic：Demystifying evals for AI agents；本课程的具体题目与门槛由自己的任务决定。
学习链接与选读范围
| 级别 | 官方或原始资料 | 本周只读这些 | 阅读预算 |
|---|---|---|---|
| 必读 | R42 · Anthropic：Demystifying evals for AI agents | 结果、执行轨迹、评分方式与回归的关系。 | 55 分钟 |
| 复习 | R13 · CS50P Week 5：Unit Tests | 把明确结果写成独立可运行的检查。 | 25 分钟 |
| 选读 | R36 · Hugging Face：Agents Course Introduction | 课程中评估与任务实践的入口；不以证书替代本项目验证。 | 30 分钟 |
实战拆解
先写任务成功定义，再构造约 10–20 条覆盖不同情形的合成案例。为每条记录输入、期望行为、证据位置、拒绝条件和严重程度；数量是练习规模，不是可靠性认证。
实现客观检查：结构有效、引用标识存在、没有调用禁止工具、需要停止时确实停止。对“答案是否受到证据支持”保留人工核验项。
分别评测普通函数基线和 agent 原型。记录成功、失败、无法判断和超时，未测结果不能填成成功；保留完整分母。
挑两条失败做最小复现，并修复一个共因。使用相同案例回归，但不同时修改题目和成功标准来美化成绩。
开始划分开发集与独立保留集：用于最终判断的答案不提供给候选生成者。真正隔离需要独立目录权限或执行身份，不是只写一句“不要看”。
交付与验收
| 本周交付 | 怎样确认真的完成 |
|---|---|
| 初版评测集 | 题目、期望、来源与失败类型明确；包含拒绝和坏输入。 |
| 可检查报告 | 记录所有尝试及真实最终状态，不仅是模型文本。 |
| 一次错误分析 | 能说明失败来自工具、资料、推理还是验证方式。 |
不用代码生成器的练习： 自己设计一道能骗过当前“看起来正确”检查的题，再改进检查而不泄露答案给被测 agent。
隐私与安全检查： 评测原文、轨迹和保留集也可能包含秘密。公开只发布经过检查的合成案例与方法；完整工具参数和输出按最小必要原则记录。不要把真实隐私样本上传到第三方评分服务。
落到日常生活： 为最常见的一项个人任务固定几条复核问题。以后更换模型或提示词时先跑这些问题，而不是凭一次顺畅对话判断进步。
过关或补课判断： 能指出一个“格式通过但实际失败”的例子，能稳定复现关键问题，才继续增加工具能力。
本周可复制的协作提示
请先写外部可核验的成功标准，再设计少量覆盖边界的评测。记录所有失败、超时和未知，不允许根据模型自述直接判成功。把开发题与最终保留题隔开，并让我独立补一条反例。
本周来源与核对范围
来源编号与核对说明沿用课程原文，基线为 2026-09-27。未逐一登录完成外部实验；实施前请核对最新版本与访问条件。
- R13CS50P Week 5：Unit Tests ↗
选输入、期望输出与测试边界，不必迁移整个项目到 Python。
- R36Hugging Face：Agents Course Introduction ↗
有 Python 与 LLM 基础要求；认证与练习条件另查。
- R42Anthropic：Demystifying evals for AI agents ↗
2026-01-09；用于结果评测与过程检查的思路。