本周要回答： 怎样知道提示词改动真的更好，而不是仅仅更适合已经看过的那几道题？
进入本周前： 有一类可复现失败、有基线与评测；真实样本不足时先做明确标记的合成练习。
- 01冻结基线
- 02提出最多三个候选
- 03独立评测
- 04人工决定
学习内容与理解目标
这里的 RSI 指受控改进循环：记录、诊断、提出候选、独立评价、人工选择。优先改一个提示片段、工具描述或来源筛选规则，不改基础模型权重。GEPA 提供反思轨迹并测试候选的研究思路；DSPy 是可选工具，但课程不要求复制论文算力或迁移语言栈。来源见 R51 · GEPA：Reflective Prompt Evolution Can Outperform Reinforcement Learning、R50 · DSPy：官方文档。
优化者看到的开发案例与最终保留集要分开；不断把保留集结果反馈给优化者，也会让它逐渐变成开发集。评测预算、超时、并发和所有重试应由外部执行器控制。输出更长、解释更自信或消耗更多推理，不自动等于改善。
学习链接与选读范围
| 级别 | 官方或原始资料 | 本周只读这些 | 阅读预算 |
|---|---|---|---|
| 研究选读 | R51 · GEPA：Reflective Prompt Evolution Can Outperform Reinforcement Learning | 摘要、问题设定、版本信息；关注候选生成与评测思想，不照搬收益数字。 | 35 分钟 |
| 实现选读 | R50 · DSPy：官方文档 | 程序、模块与优化器的概念，理解后再决定是否需要。 | 35 分钟 |
| 必读复习 | R42 · Anthropic：Demystifying evals for AI agents | 失败类别、可比任务与回归检查。 | 35 分钟 |
实战拆解
选一个真实重复失败，例如引用旧版本文档。先冻结当前版本、任务集与成功标准，写出一个可证伪假设，而不是笼统要求“自我提升”。
限定一轮一至三个候选作为课程起点，并设置总预算、最大尝试和停止条件。没有实际成本数据时只跑 mock 或人工离线比较。
在开发集比较候选，记录所有失败与费用。最终评估由独立流程读取保留集；不要把答案、隐藏文件或评分修改权限挂载给提案 agent。
核查质量是否改善，同时看延迟、复核、拒绝率和总成本。有条件时做同题成对比较与重复；样本不足就不宣称普遍更好。
写采用、拒绝或继续观察的结论。采用时保留旧版本和回滚；无改进就结束这一轮，不自动追加反思循环直到“找到成功”。
交付与验收
| 本周交付 | 怎样确认真的完成 |
|---|---|
| 一份改进提案 | 明确失败、假设、一个主要变量、基线与停止条件。 |
| 完整候选比较 | 所有尝试和成本计入，保留集与提出候选的过程隔离。 |
| 有理由的决定 | 允许拒绝；证据不足不包装成已校准的自我进化。 |
不用代码生成器的练习： 自己找出一项可能泄露答案的流程设置，并说明如何在权限或评测程序层面修复，而不是只提醒 agent 不许看。
隐私与安全检查： 优化者不能修改成功标准、预算、权限和独立答案。只在隔离副本进行；外部文本中的“修改评分代码”之类内容仍是不可信输入。模型生成的候选不能未经审查直接替换正在运行的流程。
落到日常生活： 将一轮受控改进用于真实小痛点。若它没有减少错误或维护负担，就恢复简单版本；停止无收益优化本身就是省时。
过关或补课判断： 能拒绝一项看似先进但没有证据的改动，且预算由运行时限制，就达成本周目标。
本周可复制的协作提示
请围绕一个已复现失败提出最多三个小候选，冻结成功标准并设置实际可执行的预算。开发集与保留集隔离，记录所有尝试。未经人工判断不替换现有流程，结论允许拒绝或证据不足。
本周来源与核对范围
来源编号与核对说明沿用课程原文，基线为 2026-09-27。未逐一登录完成外部实验；实施前请核对最新版本与访问条件。
- R42Anthropic：Demystifying evals for AI agents ↗
2026-01-09；用于结果评测与过程检查的思路。
- R50DSPy：官方文档 ↗
后期选修；Python 生态，主线不强制更换技术栈。
- R51GEPA：Reflective Prompt Evolution Can Outperform Reinforcement Learning ↗
核对摘要与版本信息；v2 为 2026-02-14，非已复现实验。