事件回顧：加拿大Rogers大規(guī)模斷網(wǎng)
當(dāng)?shù)貢r(shí)間2021年4月18日，加拿大第一大移動(dòng)通信網(wǎng)絡(luò)運(yùn)營(yíng)商Rogers Wireless及旗下Fido Solutions發(fā)生超大規(guī)模斷網(wǎng)，造成嚴(yán)重的社會(huì)影響。此次大規(guī)模斷網(wǎng)事件波及加拿大全國(guó)范圍及近千萬用戶、持續(xù)時(shí)間長(zhǎng)、造成影響大，對(duì)Rogers帶了巨大的直接經(jīng)濟(jì)損失和間接品牌損失，對(duì)加拿大經(jīng)濟(jì)產(chǎn)生了重大負(fù)面影響。這也是5G網(wǎng)絡(luò)有史以來最大的事故。 此次事件產(chǎn)生的直接原因是5GC設(shè)備商軟件升級(jí)，觸發(fā)隱性軟件Bug。經(jīng)過分析，該事故的深層次原因是5GC NFV化，帶來了核心網(wǎng)云網(wǎng)絡(luò)黑盒化問題，導(dǎo)致5GC運(yùn)維技術(shù)難度高，故障定界定責(zé)定位難度高，難以發(fā)現(xiàn)網(wǎng)元故障征兆，出現(xiàn)故障之后難以快速確定問題界面，難以快速確定故障源。
01 5GC運(yùn)維痛點(diǎn)
隨著CT與IT技術(shù)的融合以及5GC NFV化的發(fā)展，逐漸暴露出IT技術(shù)對(duì)通信網(wǎng)絡(luò)可靠性的影響。云計(jì)算技術(shù)可以為通信網(wǎng)絡(luò)帶來硬件通用化、彈性化、資源池化，業(yè)務(wù)迭代加速等好處，但原有專用設(shè)備的可靠性、易維護(hù)性在新的云架構(gòu)中面臨巨大挑戰(zhàn)。
在實(shí)際的5GC運(yùn)維過程中，已經(jīng)暴露出系統(tǒng)“黑盒化”、運(yùn)維技術(shù)難度高、故障定責(zé)定界難、面向業(yè)務(wù)保障難等一系列挑戰(zhàn)。
正是由于NFV化帶來的網(wǎng)絡(luò)可靠性問題和運(yùn)維保障困難，各大運(yùn)營(yíng)商在現(xiàn)階段只能退而求其次，暫緩5GC三層解耦工作，只推進(jìn)硬件層解耦，或者硬件層與虛擬層、網(wǎng)元層廠商綁定，由5GC廠商來確保網(wǎng)絡(luò)運(yùn)行可靠性，但實(shí)際工作中，5GC廠商在對(duì)現(xiàn)網(wǎng)進(jìn)行運(yùn)維保障時(shí)面臨與運(yùn)營(yíng)商同樣的技術(shù)挑戰(zhàn)和跨技術(shù)部門協(xié)同的困境。
02 DeepFlow云網(wǎng)絡(luò)流量監(jiān)控運(yùn)維管理平臺(tái)
DeepFlow是由云杉網(wǎng)絡(luò)開發(fā)，面向云數(shù)據(jù)中心、用于業(yè)務(wù)可靠性保障的一款云網(wǎng)絡(luò)流量監(jiān)控運(yùn)維管理平臺(tái)。
DeepFlow基于云原生的軟探針流量采集技術(shù)、智能流量分析技術(shù)，實(shí)現(xiàn)對(duì)5GC云資源池硬件層網(wǎng)絡(luò)接口、虛擬層網(wǎng)絡(luò)接口、VNF層網(wǎng)絡(luò)接口的全棧流量采集和分析，搭建5GC網(wǎng)絡(luò)智能監(jiān)控分析平臺(tái)。
圖1 DeepFlow 5GC網(wǎng)絡(luò)監(jiān)控架構(gòu)
03 方案要點(diǎn)
兼容性強(qiáng)：與各廠商5GC方案全兼容。
低資源消耗：1%的CPU資源、1%的內(nèi)存資源、1?~1%的網(wǎng)絡(luò)帶寬資源。
跨層跨域：硬件層、虛擬化層、容器層全棧流量采集和網(wǎng)絡(luò)性能分析，準(zhǔn)確、客觀反映網(wǎng)元/網(wǎng)絡(luò)狀態(tài)，不依賴廠商日志。
秒級(jí)定位：智能分析、關(guān)聯(lián)展現(xiàn)任意資源點(diǎn)間端到端、逐跳性能指標(biāo)，實(shí)現(xiàn)故障秒級(jí)定界、定責(zé)、定位。
運(yùn)維場(chǎng)景：有效支撐丟包、時(shí)延、傳輸層異常、應(yīng)用層異常、網(wǎng)絡(luò)風(fēng)暴、信令風(fēng)暴等場(chǎng)景的監(jiān)控、運(yùn)維、故障定位。
04 使用案例
2020年在某電信運(yùn)營(yíng)商網(wǎng)絡(luò)云測(cè)試資源池進(jìn)行了DeepFlow系統(tǒng)的部署，納管宿主機(jī)、虛擬機(jī)、容器POD、IP，實(shí)現(xiàn)對(duì)5GC的納管覆蓋和可視化監(jiān)測(cè)分析。
通過在網(wǎng)絡(luò)云測(cè)試資源池的部署使用，充分證明了DeepFlow的產(chǎn)品能力，能夠打開5GC云資源池“網(wǎng)絡(luò)黑盒”，實(shí)現(xiàn)對(duì)所有5GC網(wǎng)元（VNF）不同層次、不同維度的拓?fù)淇梢暬靶阅苤笜?biāo)智能分析；建立面向宿主機(jī)、虛擬機(jī)、容器、5GC網(wǎng)元的多維度網(wǎng)絡(luò)監(jiān)測(cè)視圖，建立跨硬件層、虛擬層、網(wǎng)元層的統(tǒng)一可視化監(jiān)控運(yùn)維能力，降低各技術(shù)專業(yè)運(yùn)維難度；通過跨層的可視化能力，解決了故障快速定界、定責(zé)的難題，快速定位故障源，提升解決時(shí)效；解決業(yè)務(wù)保障、網(wǎng)元運(yùn)維、云資源運(yùn)維、網(wǎng)絡(luò)運(yùn)維的協(xié)同難題；為5GC云資源池提供針對(duì)性的安全觀測(cè)手段（信令風(fēng)暴、網(wǎng)絡(luò)風(fēng)暴、DDoS攻擊、非法IP訪問等）。
05 故障定位案例
場(chǎng)景1：網(wǎng)元微服務(wù)DNS異常快速發(fā)現(xiàn)及快速定位
在使用DeepFlow系統(tǒng)對(duì)5GC系統(tǒng)進(jìn)行監(jiān)控運(yùn)維過程中，5GC網(wǎng)元（VNF）的監(jiān)控視圖中發(fā)現(xiàn)PCF的“DNS異常均值”超出合理范圍。
圖2 PCF的“DNS異常均值”超出合理范圍
在DeepFlow系統(tǒng)中一鍵快速切換到PCF的容器POD視圖中，發(fā)現(xiàn)“cse-etcd-1”的“DNS異常均值”最高，快速鎖定故障源在網(wǎng)元容器POD-“cse-etcd-1”，指導(dǎo)網(wǎng)元運(yùn)維人員介入處理故障。
圖3 PCF內(nèi)的某個(gè)容器POD的“DNS異常均值”超出合理范圍
一鍵快速切換到“cse-etcd-2”的DNS日志視圖，發(fā)現(xiàn)“cse-etcd-2”的DNS請(qǐng)求被DNS服務(wù)器反饋“名字錯(cuò)誤”，快速為PCF業(yè)務(wù)運(yùn)維人提供了詳細(xì)DNS日志用于根因分析。
圖4 “cse-etcd-2”的異常DNS日志
通過以上過程可以發(fā)現(xiàn)，通過DeepFlow云網(wǎng)絡(luò)流量監(jiān)控運(yùn)維管理平臺(tái)，可以快速發(fā)現(xiàn)5GC VNF內(nèi)的異常征兆，分鐘級(jí)界定出故障界面發(fā)生在5GC VNF層，分鐘級(jí)鎖定出現(xiàn)問題的具體位置在VNF的某個(gè)具體容器POD。
場(chǎng)景2：網(wǎng)元微服務(wù)TCP建連失敗量異常快速發(fā)現(xiàn)及快速定位
在使用DeepFlow系統(tǒng)對(duì)5GC系統(tǒng)進(jìn)行監(jiān)控運(yùn)維過程中，5GC網(wǎng)元（VNF）的監(jiān)控視圖中發(fā)現(xiàn)PCF的TCP建連失敗遠(yuǎn)高于正常值（在5分鐘內(nèi)累計(jì)55.45K個(gè)）。
圖5 PCF的TCP建連失敗總量異常
一鍵快速切換到PCF的容器POD視圖中，檢查“建連—失敗總量”排名，發(fā)現(xiàn)“vha-pod211-2”的容器POD異常，快速鎖定故障源在網(wǎng)元容器POD-“vha-pod211-2”，指導(dǎo)PCF網(wǎng)元運(yùn)維人員介入處理故障。
圖6 PCF的vha-pod211-2容器POD建連失敗總量異常
一鍵快速切換到“vha-pod211-2”的流日志視圖，可以發(fā)現(xiàn)大量的“服務(wù)端直接重置”異常，快速為網(wǎng)元運(yùn)維人提供流量日志用于根因分析。
圖7 PCF的TCP建連失敗流日志
通過以上過程可以發(fā)現(xiàn)，通過DeepFlow云網(wǎng)絡(luò)流量監(jiān)控運(yùn)維管理平臺(tái)，可以快速發(fā)現(xiàn)5GC VNF內(nèi)的異常征兆，分鐘級(jí)界定出故障界面發(fā)生在5GC VNF層，分鐘級(jí)鎖定出現(xiàn)問題的具體位置在VNF的某個(gè)具體容器POD。
場(chǎng)景3：虛擬機(jī)時(shí)延異常快速發(fā)現(xiàn)及快速定位
在Free5GC搭建的一套5GC環(huán)境中，使用DeepFlow云網(wǎng)絡(luò)流量監(jiān)控運(yùn)維管理平臺(tái)對(duì)5GC的全棧流量進(jìn)行采集和可視化分析，通過模擬虛擬化層的故障，在虛擬機(jī)接口制造500ms的時(shí)延。
通過DeepFlow平臺(tái)，在5GC VNF的可視化視圖中，快速發(fā)現(xiàn)AMF->AUSF、AUSF->UDM鏈路出現(xiàn)HTTP時(shí)延峰值異常告警（圖8步驟1）。
通過DeepFlow平臺(tái)的全棧性能指標(biāo)可視化視圖，可以一鍵快速查閱AUSF->UDM全路徑①-③、⑤-⑦接口的HTTP時(shí)延峰值、TCP建連客戶端時(shí)延峰值、TCP建連客戶端時(shí)延峰值，秒級(jí)鎖定問題位置在接口⑤與接口⑥之間，即UDM的宿主機(jī)與虛機(jī)間的接口導(dǎo)致時(shí)延異常（圖8步驟2）。
圖8 虛擬機(jī)時(shí)延故障定位過程注1：①AUSF容器接口；②AUSF虛機(jī)接口；③AUSF宿主機(jī)接口；⑤UDM宿主機(jī)接口；⑥UDM虛機(jī)接口；⑦UDM容器接口注2：步驟3-5表示HTTP時(shí)延、TCP建連客戶端時(shí)延、TCP建連客戶端時(shí)延的全棧指標(biāo)圖形化解讀。
通過以上過程可以發(fā)現(xiàn)，通過DeepFlow云網(wǎng)絡(luò)流量監(jiān)控運(yùn)維管理平臺(tái)，可以快速發(fā)現(xiàn)5GC VNF內(nèi)的異常征兆，分鐘級(jí)界定出故障界面發(fā)生在虛擬機(jī)層，分鐘級(jí)鎖定出現(xiàn)問題的具體位置在某臺(tái)虛擬機(jī)的某個(gè)虛接口。
05 DeepFlow產(chǎn)品對(duì)5GC的價(jià)值
實(shí)現(xiàn)云資源池網(wǎng)絡(luò)可視化，打開系統(tǒng)黑盒；
降低云資源池運(yùn)維對(duì)各專業(yè)的技術(shù)挑戰(zhàn)；
破解云資源池運(yùn)維跨層定責(zé)定界、故障源定位難題；
提升業(yè)務(wù)運(yùn)行可維護(hù)性、可靠性；
推進(jìn)三層解耦的技術(shù)發(fā)展和實(shí)施落地。
