日期

2015-10-23

参与者

agoogler、clarac、docbrown、jennifer和martym

公告

  • 大型事故（#465），造成错误预算耗尽

之前的待办事项评审

  • 确保山羊传送器可以用于传送牛奶

——质子加速中的非线性特质可以预知了，应该可以在几天内解决准确性问题

事故回顾

  • 新韵文的发现（事故465）

—— 12.1亿个请求在连锁故障与潜伏先bug的共同作用下丢失，索引中不存在新的韵文和未预料的流量

—— 文件描述符的bug以修复，已经部署到生产环境

—— 调研使用flux capacitor进行负载均衡，利用负责抛弃来预防再发生

—— 错误预算已经耗尽，生产环境的更新将会停止一个月。除非docbrown能够以该极为罕见、不可预知为理由获得管理层批准

  • AnnotataionConsistencyTooEventual：本周告警5次，可能是由于bigtabale跨区域的复制延迟导致

—— 调查仍在进行，见bug 4898200

—— 最近不会有修复，会提高阈值以减少无效告警的次数

非紧急告警回顾

  • 没有

监控系统修改/静音

  • AnnotataionConsistencyTooEventual，可以接受的延迟阈值从60s提高到180s

资源

  • 处于新韵文事故时借用了一些资源，会在下周下线多余的容量以退还容量
  • 目前的利用率是 CPU 60%、RAM 75%、DISK 44%

关键服务指标

  • OK 99 百分比延迟：88ms < 100ms SLO目标（过去30天）
  • BAD 可用性：86.95% < 99.99 SLO目标 （过去30天）

讨论/项目更新

  • 项目Molere下两周发布

新的代办事项

  • TODO （martym）：提高AnnotataionConsistencyTooEventual的阈值
  • TODO（docbrown）：将实例数量复原，退还资源