本周要回答: 系统悄悄停止工作、持续返回旧资料,或不断重试时,你多久能发现,又能怎样恢复?
进入本周前: 系统具有状态、认证、停止和恢复能力;第 16–17 周已开始低频观察。
- 01观察结果
- 02发现故障
- 03暂停与定位
- 04恢复与核验
学习内容与理解目标
这一周把观察窗口延续到第 18 周,不要求在七天里伪造十四天数据。实际只运行了几天就如实报告。学习监测的是用户结果与资源状态:成功任务、失败与未知、排队、延迟、预算消耗和数据是否新鲜,而不仅是服务器还活着。
个人工具只需要少量可操作告警。每条告警应指向一个动作:重试一次、查看来源、暂停任务或撤销连接。没有人会采取行动的高频通知应删除。运维不是打造另一套大平台,而是让工具坏了之后仍可控。参考 R67 · Google SRE:Monitoring Distributed Systems 和 R69 · Google SRE:Postmortem Culture,只保留适合小系统的部分。
学习链接与选读范围
| 级别 | 官方或原始资料 | 本周只读这些 | 阅读预算 |
|---|---|---|---|
| 必读选段 | R67 · Google SRE:Monitoring Distributed Systems | 用户可见故障、延迟与错误的监测思路。 | 40 分钟 |
| 必读选段 | R69 · Google SRE:Postmortem Culture | 事件记录、影响与可执行改进。 | 35 分钟 |
| 安全选读 | R65 · OpenTelemetry:Handling sensitive data | 遥测与追踪中的敏感数据处理。 | 35 分钟 |
实战拆解
整理第 16–18 周实际运行记录,明确观察起止与缺失。按任务结果统计,不把 HTTP 200 或模型回答完整当作工作完成。
配置少量监测:连续失败、无新结果、预算接近限制和运行卡住。验证告警既能触发也能恢复;不要把每次成功都推送给自己。
演练一个可控事件,例如来源不可访问、配置撤销或存储不可用。按手册先暂停,再定位、恢复和核查有没有重复动作。
写一页事件说明:何时发现、影响哪些任务、发生了什么、证据是什么、如何恢复、下一次只改哪个关键点。避免把错误归咎于“模型不够聪明”。
统计维护与复核时间,删掉无用日志、冗余通知和不稳定功能。若维护超过价值,降低频率或回到手动,不以保持全自动为荣。
交付与验收
| 本周交付 | 怎样确认真的完成 |
|---|---|
| 真实运行报告 | 准确标明观察窗口、失败、未知和主动维护时间。 |
| 一页事件手册 | 停止、定位、恢复、核验与升级到人工的路径清楚。 |
| 一次演练证据 | 真实执行 mock 或测试环境故障,区分演练与生产事件。 |
不用代码生成器的练习: 不让 agent 接管,按手册独立完成一次停止和恢复;指出一条最容易误导人的日志或指标并修正。
隐私与安全检查: 遥测平台可能成为新的数据接收方。默认只记录运行标识、状态、用量与经过裁剪的错误,不自动上传完整提示、网页原文、个人输入或工具返回。任何新增日志也要有删除与访问策略。
落到日常生活: 连续观察这项服务是否真的成为习惯:发生任务时是否使用,失败时是否知道替代流程,是否因为通知太多而忽略它。把维护负担算进生活成本。
过关或补课判断: 本人能在不依赖模型的情况下停止与恢复,且报告不掩盖失败,才进入受控改进。
本周可复制的协作提示
请依据真实观察窗口整理运行结果、维护时间和少量可操作告警。先演练一个可控故障,按手册停止、恢复并核查副作用。不生成虚构运行天数,不上传完整提示或私人日志。
本周来源与核对范围
来源编号与核对说明沿用课程原文,基线为 2026-09-27。未逐一登录完成外部实验;实施前请核对最新版本与访问条件。
- R65OpenTelemetry:Handling sensitive data ↗
遥测最小化、处理与过滤;不默认上传全部提示和输出。
- R67Google SRE:Monitoring Distributed Systems ↗
只选与小型个人服务有关的监测思路。
- R69Google SRE:Postmortem Culture ↗
简短事后分析;不要给个人小工具照搬大型流程。