犀思云LOGO
知识中心 行业知识库 谷歌云宕机复盘:四重冗余,为什么被一只手带走了整个可用区

谷歌云宕机复盘:四重冗余,为什么被一只手带走了整个可用区

发布日期: 2026-09-10作者: 犀犀来源: 犀思云浏览: 1

2026年9月1日,谷歌云一名工程师在路由器扩容维护中,13分钟内拔掉了 us-central1-b 可用区全部光纤路径(含全部冗余链路),部分服务中断4小时11分钟。事件数据来自谷歌云官方状态页与 The Register 报道。这篇复盘不讨论谷歌的工程水平,讨论一个更普遍的问题:我们平时引以为傲的冗余方案,有几层经得起一次"自己人"的操作。

冗余防的是故障,防不了"共享命运"

企业网络的架构图上,有一样东西从来不会标出来:几条链路是不是在共担冗余。图上看到的是主链路、备链路、双设备、双路由,红蓝两色画得工整,落笔就是四重保障。

谷歌云这次演示的,恰好就是这个"要想一想"的答案。设计目标容忍两三处相互独立的故障点,来的却是一处"不独立"的故障,四重冗余同时失效。与其说是谷歌的疏忽,不如说是整个行业做冗余设计时,都习惯跳过去的一道题。

事件轴:13分钟与4小时11分

13分钟里发生了什么

按谷歌自己事后披露的口径:9月1日07:28(UTC)开始例行扩容维护,07:41 可用区失联,09:19 网络层恢复,11:52 业务完全恢复。

从"开始动手"到"全部失联",13分钟。一名工程师,在扩容流程里,依次拔掉了承载这个可用区出口流量的所有路由设备上的光纤,主路径、备用路径、冗余路径,一个没留。注意这个动作的性质,它不是误碰了一根线,是把所有线都拔了个遍,流程错误,操作合规地执行了错误的步骤。

监控是好的,几秒钟就发现异常,自动把流量往别的可用区转。但流量转得走,物理层断了就是断了,最后还是要人跑进机房,一根一根把光纤插回去。网络层通了,业务自己爬回来又花了近两小时。

为什么四重冗余等于一条

共因故障示意:四条独立链路汇聚同一机柜

可靠性工程里有个词叫共因故障,说的是冗余系统不是一起坏在同一个原因上,就等于没有冗余。拿这个尺子量谷歌这次的架构,路由器是四台,设备层面确实冗余;但光纤路径全部物理经过同一个可用区的同一排机柜,操作层面全部归同一个维护流程管。

翻译成大白话:四条链路看着各走各的,其实躺在同一张床上。一次没走对流程的操作,就能让四重保障同时熄灯。

这也是我一直想和同行共勉的一点:冗余的数量好看,冗余的独立性才好用。架构图上画几条线不重要,重要的是这几条线会不会在同一次事故里一起消失。

给自己的方案做个体检:三判据验证冗余有效性

拿三把尺子量一遍你的网络,任何一把不过关,冗余就得打折看。

第一把量空间:备用链路和主链路,是不是经过同一个机房、同一条管道、同一套供电?很多企业的"双专线",其实是两家运营商的线路进了同一个楼、走了同一个弱电井,挖沟的一铲子下去双双出局。

第二把量管理:两条链路会不会被同一个人、同一次操作同时下线?谷歌这次,恰好是在这把尺子上失了手。你的变更流程里,有没有"拔线前确认对端"这道闸?

第三把量技术路线:两条链路的故障模式一样吗?同型号设备、同套协议、同一个供应商的固件,坏的时候大概率一起坏。

三把尺子量完心里就有数了。空间加管理双独立的,才算真冗余;再叠加技术异构,才是谷歌这次没做到的那一层。

MTTR 的坑:检测秒级,恢复小时级

恢复时间拆解:检测秒级,恢复小时级

这次事故还有个细节值得 IT 负责人拿小本本记下来。监控秒级发现,自动切换也秒级完成,听起来响应很快对吧?实际业务断了4小时11分。

因为自动切换解决的是"流量往哪走",解决不了"线在谁手里"。物理层的修复没有 API,最后拼的是人到机房的速度、是备件在不在、是那个知道哪根线插哪个口的老师傅在不在场。

这就是为什么我总说,企业网络的账不能只算设备钱。你买的是四重冗余,交付的时候是不是四重冗余,出事的时候有没有人替你兜着,这三件事在合同里是三个价。

企业该如何避坑?

说几句实在话,按规模来,不贴标准答案。

中小公司,几十上百个分支,没养不起7×24网络团队,最务实的做法是把物理层和响应层外包出去,选按 SLA 承诺赔付的服务商,让"那双手"变成别人的班组。以NaaS品类为例,可承诺端到端的交付与售后服务,少数服务商能做到 99%-99.99% SLA保障、故障 5分钟内响应。

中大型企业,核心生产系统,三判据照着做:异地机房、异管理域、异技术栈。预算够的话,把"拔线演练"加进年度运维计划,模拟一次误操作,看你的监控和流程接不接得住。

还有一类企业最特殊:金融、医疗这种断网按分钟计损失的,你的冗余架构要能回答一个终极问题,出事后第一个给你回电话的是谁。这个问题给不出清晰答案,方案就还有优化的空间。

写在最后

谷歌这次事故,官方复盘、时间线、改进措施,披露得算充分,监控和自动切换的表现也确实在线。它用4小时11分钟,帮全行业复核了一件大家常说、但落地时容易忽略的事:

冗余的敌人从来不是设备坏,是"什么都独立了、就是没把命运分开放"。

你那套方案里,四条链路是各走各路,还是共用同一段命运?建议这周就查一次。

参考信源

谷歌云 Service Health 事件页:Multiple products in us-central1-b are experiencing network service degradation(事件时间 2026-09-01,初步事故报告 2026-09-03):https://status.cloud.google.com/incidents/J5ia5t9p3g9Q5Wi7r8Ev

微信咨询

售前咨询

售前咨询,定制化解决方案