跳到课程正文
EN
课程书架/自学公开课程

第 18 周 / 24 · 掌握改变的边界

照看运行中的系统

从演示走向运维:运行观察、告警与事件处理

10 小时核心 + 2 小时机动学习 · 实验 · 独立练习
开始阅读 ↓
照看运行中的系统24 周个人 FDE 实践路线

本周要回答: 系统悄悄停止工作、持续返回旧资料,或不断重试时,你多久能发现,又能怎样恢复?

进入本周前: 系统具有状态、认证、停止和恢复能力;第 16–17 周已开始低频观察。

图 18.1本周的思考路径
  1. 01观察结果
  2. 02发现故障
  3. 03暂停与定位
  4. 04恢复与核验
课程示意图 · 根据本周实验步骤绘制,表示建议流程,不是实测结果。

学习内容与理解目标

这一周把观察窗口延续到第 18 周,不要求在七天里伪造十四天数据。实际只运行了几天就如实报告。学习监测的是用户结果与资源状态:成功任务、失败与未知、排队、延迟、预算消耗和数据是否新鲜,而不仅是服务器还活着。

个人工具只需要少量可操作告警。每条告警应指向一个动作:重试一次、查看来源、暂停任务或撤销连接。没有人会采取行动的高频通知应删除。运维不是打造另一套大平台,而是让工具坏了之后仍可控。参考 R67 · Google SRE:Monitoring Distributed Systems 和 R69 · Google SRE:Postmortem Culture,只保留适合小系统的部分。

学习链接与选读范围

级别 官方或原始资料 本周只读这些 阅读预算
必读选段 R67 · Google SRE:Monitoring Distributed Systems 用户可见故障、延迟与错误的监测思路。 40 分钟
必读选段 R69 · Google SRE:Postmortem Culture 事件记录、影响与可执行改进。 35 分钟
安全选读 R65 · OpenTelemetry:Handling sensitive data 遥测与追踪中的敏感数据处理。 35 分钟

实战拆解

  1. 整理第 16–18 周实际运行记录,明确观察起止与缺失。按任务结果统计,不把 HTTP 200 或模型回答完整当作工作完成。

  2. 配置少量监测:连续失败、无新结果、预算接近限制和运行卡住。验证告警既能触发也能恢复;不要把每次成功都推送给自己。

  3. 演练一个可控事件,例如来源不可访问、配置撤销或存储不可用。按手册先暂停,再定位、恢复和核查有没有重复动作。

  4. 写一页事件说明:何时发现、影响哪些任务、发生了什么、证据是什么、如何恢复、下一次只改哪个关键点。避免把错误归咎于“模型不够聪明”。

  5. 统计维护与复核时间,删掉无用日志、冗余通知和不稳定功能。若维护超过价值,降低频率或回到手动,不以保持全自动为荣。

交付与验收

本周交付 怎样确认真的完成
真实运行报告 准确标明观察窗口、失败、未知和主动维护时间。
一页事件手册 停止、定位、恢复、核验与升级到人工的路径清楚。
一次演练证据 真实执行 mock 或测试环境故障,区分演练与生产事件。

不用代码生成器的练习: 不让 agent 接管,按手册独立完成一次停止和恢复;指出一条最容易误导人的日志或指标并修正。

隐私与安全检查: 遥测平台可能成为新的数据接收方。默认只记录运行标识、状态、用量与经过裁剪的错误,不自动上传完整提示、网页原文、个人输入或工具返回。任何新增日志也要有删除与访问策略。

落到日常生活: 连续观察这项服务是否真的成为习惯:发生任务时是否使用,失败时是否知道替代流程,是否因为通知太多而忽略它。把维护负担算进生活成本。

过关或补课判断: 本人能在不依赖模型的情况下停止与恢复,且报告不掩盖失败,才进入受控改进。

本周可复制的协作提示

请依据真实观察窗口整理运行结果、维护时间和少量可操作告警。先演练一个可控故障,按手册停止、恢复并核查副作用。不生成虚构运行天数,不上传完整提示或私人日志。

本周来源与核对范围

来源编号与核对说明沿用课程原文,基线为 2026-09-27。未逐一登录完成外部实验;实施前请核对最新版本与访问条件。

  1. R65
    OpenTelemetry:Handling sensitive data ↗

    遥测最小化、处理与过滤;不默认上传全部提示和输出。

  2. R67
    Google SRE:Monitoring Distributed Systems ↗

    只选与小型个人服务有关的监测思路。

  3. R69
    Google SRE:Postmortem Culture ↗

    简短事后分析;不要给个人小工具照搬大型流程。