通訊故障怎么修(顯示通訊故障怎樣處理)

前沿拓展：

這幾天，大家都在關注日本電信運營商KDDI的大規(guī)模通信故障。

這個故障影響很大，涉及到日本全境范圍，共3915萬用戶。而且，故障持續(xù)的時間很長，差不多花了兩天，才算基本恢復。

故障的具體原因，我看到很多公眾號都已經(jīng)寫了，我就不再重復分析了。

今天這篇文章，我想把話題放大一點，和大家深入聊聊——都2022年了，為什么我們的通信網(wǎng)絡還有這么多故障，以及，我們到底有沒有終極解決方案。

█ 通信故障：一場持續(xù)百年的博弈

故障是通信網(wǎng)絡的天然屬性。就像人會生病一樣，通信網(wǎng)絡自誕生以來，就伴隨著故障。或者說，我們就是在解決故障的過程中，才創(chuàng)造了通信網(wǎng)絡。

貝爾老爹在解決了無數(shù)故障后，才發(fā)明了電話

一百多年來，無數(shù)的通信人，都在與故障進行堅持不懈的斗爭和博弈。他們努力研發(fā)了各種技術，采用了各種手段，和通信故障抗爭。

從宏觀上來說，抗爭的效果是顯著的。在經(jīng)驗的不斷積累下，在工藝和技術的不斷進步下，通信網(wǎng)絡發(fā)生故障的概率在不斷下降。

年輕的讀者可能并不知道，20多年前，固定電話撥不通（有電話的家庭都不多），和停水停電一樣，是常見現(xiàn)象。10多年前，手機撥不通，上網(wǎng)上不去，也是常見現(xiàn)象。

近十年來，這些現(xiàn)象變得越來越少見。偶爾發(fā)生一次，大家反而會覺得很奇怪。網(wǎng)絡斷了，很多人的第一反應是手機壞了，或者欠費了，趕緊重啟或充值。不是嗎？

我們現(xiàn)在所處的信息社會，通信網(wǎng)絡和水電一樣，是重要的基礎設施。我們的工作和生活，還有各行各業(yè)的運轉，都離不開通信網(wǎng)絡。

在這樣的前提下，通信運營商作為國企，作為網(wǎng)絡的建設和維護者，會始終把網(wǎng)絡的安全穩(wěn)定放在第一位。

針對網(wǎng)絡穩(wěn)定，工信部給運營商們設定了嚴格的考核指標。如果某省某市出現(xiàn)了網(wǎng)絡故障，一把手肯定要擔責，仕途堪憂。

運營商領導的壓力，會傳遞到員工身上，也會傳遞到設備商和外包商身上。

現(xiàn)在市場競爭如此激烈，一旦出事，要么就是巨額的賠款，要么就是丟掉這個省的市場份額，這是設備商和外包商無法承受的損失。

所以說，整個通信行業(yè)對于通信網(wǎng)絡的安全穩(wěn)定，重視度肯定是足夠的。關鍵，還是能力和執(zhí)行的問題。

█ 通信網(wǎng)絡的弱點，究竟在哪？

首先，我要和大家說一下通信網(wǎng)絡的安全級別定義。

根據(jù)場景不同，通信網(wǎng)絡的安全分為不同等級。從低到高，分別是家庭級、企業(yè)級、電信級。

通信系統(tǒng)的安全等級

像我們家里用的路由器什么的，都屬于家庭級。這種設備的安全性可靠性很低，說壞就壞，很容易導致網(wǎng)絡中斷。

企業(yè)級呢，就是單位里面用的網(wǎng)絡設備。根據(jù)網(wǎng)絡規(guī)模和用戶數(shù)量，企業(yè)級設備有較高的安全性可靠性，不太容易中斷服務。

電信級的要求，就更高了。像移動、電信、聯(lián)通，它們的網(wǎng)絡，要為上億的用戶提供服務，絕對不允許輕易出現(xiàn)故障。通常來說，電信級的可靠性，要達到5個9以上的標準。

今天小棗君說的通信網(wǎng)絡，指的就是運營商面向公眾的公共通信網(wǎng)絡，既包括蜂窩移動通信網(wǎng)絡，也包括固網(wǎng)寬帶網(wǎng)絡。它們都屬于電信級。

蜂窩移動通信網(wǎng)絡和固網(wǎng)寬帶網(wǎng)絡的架構其實是類似的，主要區(qū)別在于接入網(wǎng)部分。

蜂窩移動通信網(wǎng)絡是無線接入網(wǎng)，接入設備是基站。而固網(wǎng)寬帶網(wǎng)絡是有線接入網(wǎng)，接入設備是PON設備（無源光網(wǎng)絡設備，包括光貓）。

我們就以蜂窩移動通信網(wǎng)絡為例，進行分析。

公共通信網(wǎng)絡，服務的是數(shù)以億級的用戶群體，所以，通常會采用金字塔級的架構，核心網(wǎng)為核心，傳輸網(wǎng)（承載網(wǎng)）為骨干，接入網(wǎng)為四肢。

大家一眼就能看明白，這種架構，最大的弱點，就在于核心網(wǎng)和傳輸網(wǎng)（尤其是骨干網(wǎng)）。

核心網(wǎng)是管理中樞，是網(wǎng)絡的心臟和大腦，一旦掛了，就整個網(wǎng)絡掛了。所以，核心網(wǎng)工程師（比如當年的我）是風險和壓力最大的崗位。

核心網(wǎng)機房

傳輸網(wǎng)（承載網(wǎng)）呢，是通信網(wǎng)絡的血管和神經(jīng)。末梢還好說，壞了最多影響一小塊，但是，如果心血管和腦血管壞了，怎么辦？那也是徹底癱瘓。

光傳輸設備

這次KDDI發(fā)生的故障，還有2021年10月DoCoMo發(fā)生的故障，以及2020年英國四大運營商的故障，2020年美國CenturyLink的故障，都和核心路由器有關。說白了，就是心腦血管出了問題，整個人（網(wǎng)絡）就癱了。

相比之下，接入網(wǎng)這邊出大問題的概率很低。個別基站“掉站”，最多影響幾百幾千人，范圍很小，投訴可控。

基站設備

如果接入網(wǎng)出現(xiàn)大規(guī)模故障，那極有可能是設備商的軟件版本問題，或者硬件批次問題。這種情況的概率極低。

█ 為了防范故障，通信人都做了些什么？

那么，為了保證通信網(wǎng)絡的安全平穩(wěn)運行，防范故障的發(fā)生，我們通信人都采用了哪些辦法呢？

首先，是頂層架構設計的完善。

網(wǎng)絡的架構，是網(wǎng)絡安全之本。一個好的架構，既要考慮性能和容量，也要考慮成本，還要考慮安全和冗余。

這里請大家務必記住一點：通信設備作為一個復雜的產(chǎn)品，不管你怎么設計或堆料，它都存在故障的可能，只是概率高低、時間早晚的問題。

對于可能出現(xiàn)的故障，與其嚴防死守，不如重點考慮發(fā)生故障之后，該怎么辦。

所以，引入備份機制，是應對故障最有效的手段。

備份機制

大家都學過“概率與統(tǒng)計”，1個設備出現(xiàn)概率的故障如果是1%，那么，兩個設備同時出故障的概率，就是1%×1%=0.01%。沒錯吧？

為了保證絕對的安全，網(wǎng)絡架構設計時，會采用POOL（池）組網(wǎng)的方式，如下圖：

好幾個設備共同組成池子（POOL），各自負責業(yè)務，如果有一個壞了，其它的立刻頂上，保證業(yè)務不受影響。

核心設備，通常有兩個或兩個以上，分別在省會城市的不同區(qū)域，物理上就離得很遠。

此外，在做網(wǎng)絡架構設計時，重要的設備網(wǎng)元通常會放在安全級別更高的核心機房。

核心機房

例如，移動通信網(wǎng)絡里面最最最重要的、負責存儲和管理用戶數(shù)據(jù)的HSS（就是以前的HLR，里面有每個用戶的手機號碼、鑒權數(shù)據(jù)、業(yè)務信息等），就存放在省會城市的核心機房。同時，維護人員會定期進行數(shù)據(jù)的物理異地隔離備份。

這幾年，因為地質災害，加上戰(zhàn)爭或恐襲等因素考量，運營商甚至開始做異省份的備份。

例如，去年鄭州洪災，當時核心機房被淹，HLR退服，就緊急啟用了放在鄰近省份省會城市的HLR，實現(xiàn)業(yè)務的臨時恢復。

不同的容災級別

第二個辦法，底層的主備機制。

剛才我們說的是頂層設計的冗余機制。具體到機房、機架、單板、線纜，也都有主備的設計，可以稱之為底層的主備機制。

如果去過機房，你就會發(fā)現(xiàn)，機柜上的機框，插著各種各樣的單板。而這些單板，基本上都是成對出現(xiàn)的。

某廠家3G設備正面外觀

也就是說，某一類型的單板，通常都會有兩塊。

網(wǎng)線和光纖也是一樣，你幾乎看不到單根的線纜，都是成對的。

某廠家4G設備正面外觀

這樣做的原因，就是為了互相備份。如果某塊單板壞了，那另一個單板就能繼續(xù)工作，保證業(yè)務不受影響。同時，系統(tǒng)會進行報警，提醒工作人員盡快更換。

電源也是一樣，電信機房所有機柜設備，肯定都有至少兩路電源輸入。

多路電源輸入（一紅一藍為一路）

除了市電以為，重要機房還會設置蓄電池、UPS、發(fā)電機等應急供電設備。

機房的蓄電池組

第三，完善的管理制度和法規(guī)。

技術永遠都不是影響網(wǎng)絡安全穩(wěn)定的唯一要素。對通信網(wǎng)絡威脅最大的，其實是人，而不是技術。

對于這一點，小棗君相信每一個通信人都會有相同的感受。

在管理流程和制度方面，在工程技術規(guī)范方面，我們有過無數(shù)次血的教訓。

為什么升級方案要反復評審？為什么工程規(guī)范要那么嚴格？為什么要建立備件倉庫？為什么割接步驟要doublecheck，甚至triplecheck？為什么重大操作后要安排值守？為什么重要節(jié)假日要封網(wǎng)？……

這些都是前人踩雷總結下來的經(jīng)驗。

對網(wǎng)絡故障，要時刻保持敬畏之心

除了內部管理制度和流程標準之外，針對現(xiàn)在經(jīng)常發(fā)生的通信網(wǎng)絡蓄意破壞事件，國家也建立了越來越嚴格的法律法規(guī)，進行處罰。

像非法施工鏟斷光纖、蓄意破壞基站、剪斷光纖，都將受到法律的制裁。

被惡意剪斷的基站饋線

█ 通信故障背后的深層次原因

有合理的網(wǎng)絡架構設計，有齊備的主備機制，又有完善的制度和規(guī)范，為什么還會發(fā)生這么多故障？

接下來，我來說點深層次的原因。

首先第一點，估計也是大家最認同的一點，那就是通信行業(yè)的內卷環(huán)境。

這些年，惡意競爭、低價中標盛行，設備商和分包商既要搶單，又要維持利潤，只能拼命壓低成本，比如產(chǎn)品設計成本、用料成本、施工材料成本。更主要的是，人員工資成本。

成本不斷壓縮，勢必影響產(chǎn)品可靠性以及工程質量。過低的工資，導致大量經(jīng)驗豐富的人才流失。分包商為了完工，只能招聘應屆生，簡單培訓（甚至沒有培訓）之后，派到現(xiàn)場干活。

這些人員缺乏必要的培訓和實踐，素質水平和技術能力不足，成為很大的風險點。

有些極個別素質低的，被壓迫狠了，直接刪庫跑路，也不是沒有可能。

前些年，為了確保一線員工不被克扣待遇，有廠商甚至和分包商簽訂合同，約束外包員工的收入底線。

除了低價競爭之外，影響網(wǎng)絡運行安全的另一個重要因素，是不斷增加的技術復雜度。

越先進的技術，復雜度越高，可靠性越低。隨著技術的演進，運營商的網(wǎng)絡規(guī)模變得越來越大，組網(wǎng)也越來越復雜，出現(xiàn)問題的概率大大增加。

通信網(wǎng)絡的潮汐效應是非常明顯的。閑時和忙時有時候會有十倍甚至百倍的差異。如果出現(xiàn)意外事件（災害等），話務量激增，更可能是千倍的差異。

運營商不可能做千倍的冗余設計。所以，如果沒有合理的旁路設計或閾值設計，網(wǎng)絡出現(xiàn)擁塞的概率是極高的。（這幾年的幾次重大故障，都有信令流量擁塞的因素。）

目前運營商的復雜組網(wǎng)，自己都沒幾個人能完全看懂。時間久了，人員一流動，就更陌生了。

通信網(wǎng)絡本來就是一門玄學，問題千奇百怪，誰敢說自己能算準每一種可能性？

第三個潛在的網(wǎng)絡安全風險，也是小棗君最擔心的風險，那就是外部的網(wǎng)絡攻擊。例如黑客、病毒和系統(tǒng)漏洞。

如今，通信設備基本上都IP化、云化了，網(wǎng)絡越來越開放，也有的直接部署在公有云上，和外界的物理隔離越來越弱，比以前更容易受到攻擊。

現(xiàn)在的攻擊者，水平也比以前高很多，手段也更加多樣化，對網(wǎng)絡的威脅極大。

當然，運營商和設備商在防范網(wǎng)絡攻擊方面，投入也很大。

現(xiàn)在，所有廠商都關注“安全加固”這個概念。顧名思義，安全加固就是封堵系統(tǒng)漏洞，使得系統(tǒng)更加穩(wěn)固。運營商會采用第三方工具，或聘請第三方廠家，對現(xiàn)網(wǎng)設備進行安全掃描，尋找安全漏洞，然后要求設備商進行整改和封堵。

一切為了安全

這種“道高一尺，魔高一丈”的博弈，會長期持續(xù)下去。

但是，小棗君個人認為，目前防御的一方，在人員安全意識、技術能力方面，都存在很大問題。后續(xù)，我們遇到的安全事件，會越來越多。

希望有關單位和部門不要把安全放在嘴邊，真正花點功夫提升自己的人員素質，加強培訓。不然真出了事，補救就太遲了。

█ 最后的話

日本KDDI的故障不是第一次，也肯定不是最后一次。通信網(wǎng)絡故障，就像擊鼓傳花，誰也不知道自己是不是下一個。

現(xiàn)在，廠商們都提出要引入AI，讓人工智能來接管網(wǎng)絡，以此降低網(wǎng)絡的故障率。也有的廠商，在網(wǎng)絡云化的基礎上，搞灰度升級（即局部升級），也能大幅降低網(wǎng)絡風險。這些都是好的趨勢。

我覺得，在與通信網(wǎng)絡故障進行斗爭的道路上，我們還有很長的路要走。路漫漫其修遠兮，通信人當上下而求索。

好了，以上就是今天文章的全部內容。感謝大家的耐心閱讀，我們下期再見！

拓展知識：