可信的任务账本

本周要回答： 你推荐某个模型或强度，是因为它真的在同类任务上更合适，还是因为最近一次表现令人印象深刻？

进入本周前： 至少有少量真实运行记录，能区分任务、尝试、结果与人工复核；缺少数据也可以开始，但不能假装已经校准。

图 19.1本周的思考路径

课程示意图 · 根据本周实验步骤绘制，表示建议流程，不是实测结果。

学习内容与理解目标

启动 P3——AI 任务与成本账本。每条记录只保留必要字段：任务类别、运行环境、真实模型或工具版本、可获得的推理配置、尝试次数、主动耗时、结果与用量来源。未知记为 null 或明确状态，不用零替代。原始提示与个人资料默认不收集。

比较模型时，任务难度、工具权限、上下文长度和重试策略都可能影响结果。中位数可描述典型情况，较差情形和失败比例也必须看；小样本只能支持局部观察。某个固定样本数不是“校准完成”的通行证。订阅额度百分比也不是天然可换算为统一 token 数，无法从官方或实测获得就标估计或不可得。

级别	官方或原始资料	本周只读这些	阅读预算
必读复习	R17 · Harvard CS50 SQL	聚合、筛选与查询；保持任务粒度和尝试粒度分开。	35 分钟
必读复习	R42 · Anthropic：Demystifying evals for AI agents	多次尝试、结果与回归记录的用途。	35 分钟
安全选读	R65 · OpenTelemetry：Handling sensitive data	用量与追踪字段最小化。	30 分钟

本周交付	怎样确认真的完成
可信任务账本	任务与尝试清楚区分；结果和用量的来源可追溯。
带限制的汇总	相近任务可比较，未知与失败没有被吞掉。
一个局部建议	明确适用范围；数据不足时保持不推荐，而非制造精确排行榜。

不用代码生成器的练习： 自己检查一组包含重复与缺失的合成记录，解释为什么直接取平均会误导，再写正确查询。

隐私与安全检查： 不要读取不透明内部数据库、抓取会话凭据或绕过产品接口来获得额度。只使用官方提供、本人有权导出的信息。对任务名称和文件路径也做最小化；公开聚合仍可能暴露个人活动，不自动发布。

落到日常生活： 下次开工前按任务类别选择已有验证的配置，而不是默认最大强度。课后看它是否降低返工和切换成本，不把用完套餐当成收益。

过关或补课判断： 能够把实测、估算和未知分开，就完成 RSI 的记录层。样本不足是合格结论，不为凑数量大量制造无意义任务。

请以隐私最小化的元数据建立任务账本，区分任务、尝试、结果和用量来源。只比较相近任务，未知不填零，不伪造模型或额度。先用本地统计提出有限建议，不新增自我反思调用。

来源编号与核对说明沿用课程原文，基线为 2026-09-27。未逐一登录完成外部实验；实施前请核对最新版本与访问条件。