零零客微文大全00ke.net

  • 一条光纤传输中断后,如何引发了全网VoLTE瘫痪?
  • 来源:网优雇佣军

2020年6月15日,美国运营商T-Mobile发生了一起罕见的网络重大事故。全国范围内的语音和短信服务中断长达12小时。事后,美国FCC主席公开表示这起重大网络事故“不可接受”,并随后对T-Mobile展开了调查。


全国范围,中断12小时,连911也无法拨打......如此严重的网络事故成为了全球运营商鲜活的反面教材,那背后到底是什么原因导致的?


图片

不久前,运营商Orange在对这起全球瞩目的重大网络事故进行研究后,详细透露了这起事故的来龙去脉。

T-Mobile网络架构简介

T-Mobile的语音网络包括VoLTE、VoWiFi和2/3G CS网络,VoLTE语音业务通过4G LTE基站和传输网络连接到IMS,2/3G电路交换网关、WiFi网关与LTE核心网和IMS互联互通。网络内绝大多数手机会同时注册和连接到LTE和2/3G电路交换网络,如果VoLTE和VoWiFi呼叫失败或超时,或者在没有LTE和WiFi覆盖的情况下,手机会通过2/3G网络进行语音业务。

图片

同时,T-Mobile传送网的路由器采用OSPF(Open Shortest Path First,开放式最短路径优先)路由协议,即给每一条链路分配一个权重,网络始终选择一个权重最小的路径来传输数据流量。

图片

如上图,连接每个路由器的每条链路都分配了一个代表其权重的数字。要将数据从西雅图传输到迈阿密,网络会选择累积权重最小的路径,即会经由洛杉矶的路由器转发到迈阿密。而一旦西雅图与洛杉矶之间的链路中断,网络会选择另一条累积权重最小的路由来替代,即经由丹佛和纽约的路由器转发到迈阿密。

故障过程分析

1
美国东部时间2020年6月15日 12:33,T-Mobile在亚特兰大地区的VoLTE网络的一条光纤传输链路发生故障。如上所述,按T-Mobile的网络路由策略,当这条链路发生故障后,网络会根据OSPF协议重新选择一条备用路由来传输数据,从而缓解故障影响。

2
但万万没想到,T-Mobile工程师当初错误配置了这条备用路由上的其中一台路由器的权重,导致数据流量流向了一台无法处理大量呼叫信令流量的路由器,使得整个亚特兰大地区的4G语音和数据业务中断。

图片

3
亚特兰大地区的所有4G手机向IMS发起VoLTE注册时失败,当手机通过4G网络注册失败超时后,又开始尝试通过Wi-Fi网络向IMS重新注册,但仍然注册失败,从而引发了信令流量拥塞。

3
12:45,12分钟后,中断的光传输链路恢复,此时通过WiFi注册失败的手机又重新尝试通过VoLTE注册,但因路由器权重配置错误,VoLTE重新注册再次失败,这进一步加剧了信令流量拥塞。

4
此时,T-Mobile工程师判断认为故障原因可能仍然由光传输故障引起,于是,又手动关闭了这条刚恢复的光传输链路,以继续试图通过其他路由传输数据。但这让网络故障又回到了初始状态,整个亚特兰大地区的移动用户无法连接4G网络,被迫再次通过WiFi建立呼叫,结果依然失败..... 再次加剧信令拥塞。

5
工程师们认识到判断错误,在一个小时后再次开启这条光传输链路,使得亚特兰大地区的手机又再一次重新尝试VoLTE注册,再再次加剧了网络信令拥塞。

6
就这样,在“Wi-Fi注册”与“VoLTE注册”之间来回折腾,循环“震荡”,导致部署在亚特兰大地区的IMS系统严重拥塞后,流量开始重定向到其他地区的IMS注册系统,从而引发了信令风暴蔓延到全国。

图片

7
15:00左右,T-Mobile分布于全美的IMS注册节点变得越来越拥塞,最终导致全国范围内的VoLTE和VoWiFi语音注册失败,从而引发了一场全网VoLTE瘫痪的重大网络事故。

8
事故还在继续蔓延。
当手机无法连接VoLTE和VoWiFi后,大量的手机回落到2/3G网络,这也造成了2/3G网络拥塞。

9
直到6月16日凌晨1点左右,T-Mobile在动用了数百名工程师之后,与供应商和合作伙伴一起终于将问题解决。网络恢复正常。

简单的讲,整个事故的过程是:

一条光纤传输链路发生中断,同时因为人为配置错误导致备份链路也失效了,引发了信令流量风暴蔓延全国,使得全国范围内的IMS系统发生严重拥塞,从而导致全国范围内的VoLTE业务瘫痪。

一条光纤传输链路中断,一次人为配置错误,就引发一场如此大规模的网络事故。进入5G时代,不仅网络更加复杂,而且对网络的稳定性和可靠性要求更高,这起刚好发生在5G商用元年的重大事故自然引起了全球运营商的高度关注。甚至有运营商以此为鉴,专门针对网络故障展开了专项研究。

希望下一次,一条小小光纤链路,一次不经意的人为错误,再也不会引起如此重大的网络故障。

本文参考:
June 15, 2020 T-Mobile Network Outage Report,FCC
How the T-Mobile outage of 2020 went down,Brigette Cardinaeal ,Orange

网优雇佣军投稿邮箱:wywd11@126.com
长按二维码关注
图片
通信路上,一起走!

科技

  • @所有人注意:4年前就取消了!你还在交钱吗?
    @所有人注意:4年前就取消了!你还在交钱吗?
    在很多人记忆里,“长途漫游费”从2017年开始就已经成为了历史。这一年,在工业和信息化部、国务院国有资产监督管理委员会等部门的要求下,三大电信运营商于9月1日全面取消了国内手机长途和漫游费(不含港澳台地...
    哈尔滨日报
  • 煤矿井下5G覆盖数据分析
    煤矿井下5G覆盖数据分析
    2020年5GtoB显著加速,垂直行业逐渐成为5G的重要用户,并深入参与到5G网络能力的验证工作,以考察5G是否满足行业的需求。在测试中,由于业务需求不统一、测试场景单一、未考虑设备厂家能力等因素,造成了行业用...
    网优雇佣军
  • 物联网大规模采用面临的挑战
    物联网大规模采用面临的挑战
    关键讯息,D1时间送达!消费者物联网可以解决潜在客户未知的痛点,这种感知价值的缺乏正在造成巨大的采用障碍。虽然市场上有一些产品,但是很少有产品能够在集成的硬件、软件和连接性之间找到适当的平衡,以创造...
    企业网D1net
  • 美国制裁三年后,华为定调下一步发展:软件和车是重点
    美国制裁三年后,华为定调下一步发展:软件和车是重点
    华为希望寻找软件方面的机会,比如云计算,以提升软件及服务在华为的收入占比。徐直军重申,即便小米都造车了,华为也不会造自有品牌的电动车在仓促应对完美国的三轮制裁之后,华为就2021年的发展方向定调。4月1...
    财新科技
  • 运营商加速调整子公司究竟为哪般?
    运营商加速调整子公司究竟为哪般?
    电信运营商成立或调整专业领域的子公司,早已是稀松平常的事情。但是,近一年以来,各运营商重大行动不断,例如,中国电信将天翼电子商务公司从上市公司剥离至集团公司,拟定成立天翼云科技有限公司;中国移动成...
    通信世界
  • “人脸识别第一案”迎来终审判决 当个人信息安全被侵犯应如何维权
    “人脸识别第一案”迎来终审判决 当个人信息安全被侵犯应如何维权
    “人脸识别第一案”于2019年秋季立案,持续引发社会关注。近日,该案件在杭州市中级人民法院二审宣判,历时一年半,终尘埃落定。从审判结果来看,有欣喜,也有些许遗憾。欣喜的是,人脸识别、指纹识别等生物识别...
    安防展览网
  • 讯石专访|武汉永鼎光电子:从芯片到器件 以技术、可靠性、性价比赢得市场
    讯石专访|武汉永鼎光电子:从芯片到器件 以技术、可靠性、性价比赢得市场
    新闻导读讯石专访武汉永鼎光电子副总经理徐炎先生,了解公司的发展历程及现状。武汉永鼎光电子重点产品为芯片类器件和光电集成模块,为国外的系统商提供无热型AWG等产品,为数据中心光模块公司提供CWDM4/LAN-WDM...
    讯石光通讯
  • “不造车”的华为敲定三大车企合作伙伴
    “不造车”的华为敲定三大车企合作伙伴
      4月12日,华为公司第18届全球分析师大会在深圳开幕,华为轮值董事长徐直军在会上阐述了下一个十年华为的五大战略重心,并详解“华为为何不造车”。  徐直军表示,华为未来将强力投资智能汽车产业部件,做...
    上海证券报
  • SASE与零信任一个都不能少
    SASE与零信任一个都不能少
    零信任和SASE这两种安全模型到底是什么关系?在后新冠时代,面临企业数字化转型中不断增长的网络威胁攻击面,企业应当选择哪种安全模型/安全建设策略?随着IT环境的去中心化发展,企业面临的零信任相关安全问题...
    安全牛
  • 高通机器人RB5平台:智慧大脑,卓越视觉
    高通机器人RB5平台:智慧大脑,卓越视觉
    早上起床,让机器人冲一杯香醇的咖啡,周末闲暇时,与机器人来一场乒乓球对战。这样的场景,是科幻电影吗?在高通机器人RB5平台的支持下,机器人咖啡师和机器人乒乓球陪练,都已经成为现实。搭载高通机器人RB5平...
    Qualcomm中国
  • 2021年美国网络安全:制止疯狂
    2021年美国网络安全:制止疯狂
    E安全4月12日讯 据近日美国媒体报道:2021年网络安全的挑战比以往任何时候都更大。幸运的是,正确的战略防御措施甚至可以帮助价值最高的目标经受严峻的攻击。软件已吞噬了整个世界。结果,世界可以被黑客入侵...
    E安全
  • 它,堪称鼠标手势界的 TC。那么,TC 是什么?
    它,堪称鼠标手势界的 TC。那么,TC 是什么?
    先来解释标题吧,“鼠标手势界的 TC” 是该软件的汉化作者给出的评价,对于了解 TC 的同学来说,算是非常高的评价了。那么,TC 是什么?TC 全称 Total Commander,是一款 28 年前诞生的 Windows 文件管理器,至...
    小众软件
  • 机器学习漫谈:深度学习的辉煌
    机器学习漫谈:深度学习的辉煌
    来源:王宏琳科学网博客如今,当有人提到人工智能引起社会变革潜力时,他们很可能是在谈论机器学习中的人工神经网络。当一篇文章谈人工神经网络突破性进展时,作者很可能指的是深度学习。人工神经网络是一种非线...
    人工智能学家
  • 英伟达CPU问世:ARM架构,对比x86实现十倍性能提升
    英伟达CPU问世:ARM架构,对比x86实现十倍性能提升
    机器之心报道机器之心编辑部收购 Arm 还没有定论,但英伟达的 Arm 架构 CPU 已经出现了。英特尔现在可能正感受到不一样的压力。「只需一张 GeForce 显卡,每个学生都可以拥有一台超级计算机,这正是 Alex Krizhe...
    机器之心
  • 机器人觉醒了,我们呢?
    机器人觉醒了,我们呢?
    “我让语音助手把灯关了,结果它不仅把灯开个不停,还发出冷笑。”3年前,全球各地不少人被亚马逊智能音箱接到指令后发出的冷笑吓得够呛。今天,又有不少人拍下家里两台智能音箱煞有介事互相聊天的视频,加上“...
    半月谈
1 2 3 4 5 >> 

公众号 • 网优雇佣军

Flag Counter