阿里云崩了,我们更愿意读“事件说明”还是“避坑指南”?
  cLW6S72OlUls 2023年11月19日 21 0

做软件的人:“工作体验好,好事才能来。”

双十一后第一天,阿里云崩了

从下图能看出,这次虽然只崩了3个多小时,但受影响的产品多,地域广。如图1。

f1.png 图1 这次崩了受影响的产品多,地域广

应该说,阿里云的健康状态页设计得还是很不错的。

我很快就能找到这次崩了的持续时长,以及所影响的产品和地域。点赞!

我在8月3日发过一篇知乎想法,对比了阿里云从2018到2022年这5年来,崩得很严重的3次生产事故复盘报告对比图。如图2。 f2.png 图2 阿里云从2018到2022年这5年来,崩得很严重的3次事故复盘报告对比图

相信阿里云这次崩了后,很快也会发布一份详细的“事件说明”。

但……

阿里云崩了,我们更愿意读“事件说明”还是“避坑指南”?

相比浮于表面的事件说明,我更愿意读避坑指南

首先我是做软件的。搞了30年的开发、测试、运维、管理和咨询。

对于做软件的人来说,能从软件行业的意外事件中学习到如何避坑,效果肯定比只学习“最佳实践”好。因为前者更加生动和有趣。

有人会说,阿里云的大部分用户,都不是做软件的呀。他们肯定不愿意看避坑指南。

我认为不做软件的阿里云用户,也愿意读避坑指南

因为他们读了一份写得好的避坑指南,就相信阿里云已经从意外事件中学到了,并在将来可以成功避坑,从而继续保持对阿里云服务的信心

那该如何写一份好的避坑指南?

好的避坑指南的原则,是“写的人愿意写,读的人愿意读”。

避坑指南,一般由意外事件当事人来写。如果她/他觉得意外事件让自己很难堪,还愿意把细节写出来吗

如何让写避坑指南的当事人不觉得难堪呢?

方法很简单,第一步就是把原先的”生产事故复盘报告“,改名为”意外事件避坑指南“。

“生产事故复盘”报告包含“事故”这样的负面字眼,有自恋倾向的意外事件当事人,就不愿在报告中详细描述自己的失误,也不愿将报告分享给其他团队成员和用户。

这增大了其他成员将来踩进同样的坑的风险,也让用户对IT产品丧失信心

因为“意外事件“比”生产事故“更加温和和中性,此时将“生产事故复盘报告”,改名为“意外事件避坑指南”,能强调报告可以帮助队友避免踩坑,也能帮助用户重树信心。

因为可以帮助他人,这样能让撰写和传播避坑指南的人,感觉更愉悦。而不会像“事故”报告那样,感觉丢了面子。如图3。

f3.png 图3 因为可以帮助他人,这样能让撰写和传播避坑指南的人,感觉更愉悦;而不会像“事故”报告那样,感觉丢了面子

盘点该如何写好“IT系统意外事件避坑指南”

当然,一份写得好的避坑指南,并不是只把标题从“事件说明”改为“避坑指南”那么简单。

如何把“事件说明”,转变为众人喜闻乐见的“避坑指南”呢?

三周前,语雀也有一次意外事件。他们很快就向上千万的用户,发布了事件说明(原标题是“故障公告”)。这一点很赞!

下面我以语雀的事件说明为例来说明如何转变(参见:关于语雀 23 日故障的公告)。

先说写得不好的避坑指南。注意这只是通用的写得不好的点。语雀有两点还是做得不错的。

写得不好的避坑指南

1 缺少上下文:只站在意外事件直接负责团队的角度撰写,缺乏像“存储系统所使用的机器类别较老,无法直接操作上线”这样描述的背景介绍,导致读者在阅读时,产生误解,难以理解。

2 使用术语且不做解释:避坑指南中使用了“Region”、“多副本容灾”、“两地三中心”等术语,但是没有解释,导致不是做软件的用户在阅读时,难以理解,进而对避坑产生怀疑。

3 缺乏意外事件确切的影响数据:只提到意外事件持续7个多小时,缺乏其他数据,导致难以判断事件所影响的用户范围等规模程度,也难以判断意外事件何时完全恢复。

4 缺乏触发因素的底层细节描述:只提供了意外事件的高层次描述,难以判断意外事件的最底层根本原因,比如难以了解“在升级中新的运维工具”具体出了什么bug,这难以在将来实现避坑。

5 缺乏意外事件恢复的细节描述:读者希望了解如何能缓解意外事件的影响的实际措施细节,比如数据恢复、数据校验和联调细节,以便学习和分析。

6 缺乏可验证的预防措施:“运维团队加强运维工具的质量保障与测试,杜绝此类运维 bug 再次发生”听起来不错,但是缺乏具体的可执行的措施,更缺乏可验证性,让读者怀疑是否能真正实现。

7 具有指责意味:在避坑指南中,提到“运维团队加强运维工具的质量保障与测试,杜绝此类运维 bug 再次发生”,这句话的潜台词是,运维团队没有做好工作,导致意外事件发生。这种指责会促使运维团队产生抵触情绪,会心里反问:“为何语雀不做异地双活?”,难以实现避坑。如图4。

8 分享范围有限:避坑指南只在内部分享,导致其他团队和用户无法学习和了解,无法重塑信心,也无法提供反馈。(语雀这一点做得较好)

9 延迟发表:避坑指南在意外事件发生后,经过了很久才发表,难以实现避坑。(语雀这一点做得较好) f4.png 图4 这种指责会促使运维团队产生抵触情绪,会心里反问:“为何语雀不做异地双活?”,难以实现避坑

写得好的避坑指南

1 提供上下文:避坑指南中提供意外事件的背景介绍,包括语雀的用户规模、用户分布、用户使用场景、用户使用习惯、用户使用时段等,让读者能够更好地理解意外事件的影响范围。

2 解释术语:避坑指南中解释“Region”、“多副本容灾”、“两地三中心”等术语,让读者能够更好地理解意外事件。

3 提供意外事件确切的影响数据:避坑指南中提供意外事件的持续时长、影响用户数、影响用户比例、影响用户使用时长、影响用户使用频率等数据,让读者能够更好地理解意外事件的影响范围。

4 提供触发因素的底层细节描述:避坑指南中提供意外事件的底层细节描述,比如运维工具的 bug如何触发问题的过程,让读者能够更好地理解意外事件的根本原因。

5 提供意外事件恢复的细节描述:避坑指南中提供意外事件的恢复细节描述,比如数据恢复的过程、验证过程、验证结果等,让读者能够更好地理解意外事件的恢复过程。

6 提供可验证的预防措施:避坑指南中提供可验证的预防措施,比如存储服务器离线后可快速上线的预期时长、如何验证运维动作的灰度范围和灰度时长等,让读者能够更好地理解意外事件的预防措施。

7 不具有指责意味:明确系统设计改进已考虑用异地双活应对此类意外事件,没有个人或团队会因该事件而受到指责。重点关注“出了什么问题”,而不是“谁”导致了事件。旨在改善机制和系统,而不是惩罚个人。

8 分享范围广泛:将“关于语雀 23 日故障的公告”更名为“语雀23日意外事件相关避坑指南”,有助于让当事人放下难堪而愿意在避坑指南中分享事件细节,让其他团队能够学习和提供反馈。(语雀向千万用户发布公告这一点做得较好)

9 及时发表:避坑指南在意外事件发生后,一周之内及时发表,让其他团队能够及时学习,也能够及时提供反馈。(语雀这一点做得较好)

10 数据驱动结论:提出的所有结论均基于事实和数据。

11 提供图表辅助说明:以图表的形式提供更多有用的信息,以便为了向不熟悉该系统的读者提供背景信息。

12 简明扼要:避坑指南中的每个部分都是简明扼要的,没有冗余的信息,让读者能够更好地理解意外事件的影响范围。

要想了解更多如何写好避坑指南的内容,可以参考《Google SRE工作手册》第10章。里面给出了正反两个例子。

但是,需要说明一点,国外一般把IT系统意外事件“避坑指南”,称为postmortem,直译就是“验尸报告”,这个词就更加负面了。

我之前有段时间,也使用“验尸报告”这个字眼儿。但在学习了社会心理学后,了解到做软件的人的感受,就将其改称为“避坑指南”。

总结

阿里云崩了,相比浮于表面的事件说明,我更愿意读写得好的避坑指南

写得好的避坑指南,能让企业内外所有做软件的人,从以往意外事件中学到经验教训;也能让IT系统的用户,重塑对系统的信心。

要想让避坑指南“写的人愿意写,读的人愿意读”,就需要营造一个不让意外事件当事人感到难堪的温和的环境,让她/他从自责中走出来,从而更愿意详细地进行分享,通过帮助他人,获得更好的内心体验

营造这种环境的第一步,就是把标题从“事件说明”**改为“避坑指南”**。

之后,再参考上面提到的9个坏习惯和12个好习惯,编写好的避坑指南。


如果你喜欢这篇文章,欢迎点赞,并转发给身边有需要的人。 如果你有更好的方法,欢迎在留言区留言,和我讨论。

【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

  1. 分享:
最后一次编辑于 2023年11月19日 0

暂无评论

推荐阅读
cLW6S72OlUls
最新推荐 更多

2024-05-31