工信部發(fā)布的2023年上半年通信業(yè)經(jīng)濟(jì)運(yùn)行情況顯示，全國(guó)移動(dòng)互聯(lián)網(wǎng)流量增速持續(xù)提升。移動(dòng)互聯(lián)網(wǎng)累計(jì)接入流量及增速情況如圖1所示，2023年上半年，移動(dòng)互聯(lián)網(wǎng)累計(jì)流量達(dá)1423億GB，同比增長(zhǎng)14.6%，增速較一季度回升0.9個(gè)百分點(diǎn)。移動(dòng)互聯(lián)網(wǎng)接入月流量及戶均流量（DOU）情況如圖2所示，截至6月末，移動(dòng)互聯(lián)網(wǎng)用戶達(dá)14.9億戶，比上年末凈增3825萬(wàn)戶。6月當(dāng)月戶均移動(dòng)互聯(lián)網(wǎng)接入流量達(dá)到16.78GB/戶·月，同比增長(zhǎng)12.8%，較上年12月提高0.6GB/戶·月。

圖1 2022年1月—2023年6月我國(guó)移動(dòng)互聯(lián)網(wǎng)累計(jì)接入流量及增速

圖2 2022年6月—2023年6月我國(guó)移動(dòng)互聯(lián)網(wǎng)接入月流量及戶均流量（DOU）

從收入數(shù)據(jù)來(lái)看，固定互聯(lián)網(wǎng)寬帶業(yè)務(wù)收入穩(wěn)步增長(zhǎng)。2023年上半年，三大基礎(chǔ)電信企業(yè)完成互聯(lián)網(wǎng)寬帶業(yè)務(wù)收入1301億元，同比增長(zhǎng)6.3%，在電信業(yè)務(wù)收入中占比為15%，較一季度提升0.2個(gè)百分點(diǎn)，拉動(dòng)電信業(yè)務(wù)收入增長(zhǎng)0.9個(gè)百分點(diǎn)。移動(dòng)數(shù)據(jù)流量業(yè)務(wù)收入低速增長(zhǎng)，上半年，三大基礎(chǔ)電信企業(yè)完成移動(dòng)數(shù)據(jù)流量業(yè)務(wù)收入3356億元，同比增長(zhǎng)0.2%，在電信業(yè)務(wù)收入中占比為38.6%，拉動(dòng)電信業(yè)務(wù)收入增長(zhǎng)0.1個(gè)百分點(diǎn)。

從收入數(shù)據(jù)可以推測(cè)流量情況，雖然沒有固定互聯(lián)網(wǎng)流量的數(shù)據(jù)，但是從收入增長(zhǎng)看流量增長(zhǎng)不會(huì)低于6.3%。考慮到固網(wǎng)“提速降費(fèi)”因素，推算固定互聯(lián)網(wǎng)流量增長(zhǎng)同比應(yīng)在10%以上。也就是說(shuō)，互聯(lián)網(wǎng)總流量增長(zhǎng)同比應(yīng)在10%以上。

面對(duì)如此快速的增長(zhǎng)，無(wú)論是固定互聯(lián)網(wǎng)還是移動(dòng)互聯(lián)網(wǎng)，在了解整體趨勢(shì)的同時(shí)，如何將內(nèi)部的流量分互聯(lián)網(wǎng)流量分布計(jì)算模型研究與實(shí)踐布看得更清楚，以便掌握區(qū)域差異、用戶行為，從而為擴(kuò)容、管理提供決策依據(jù)就成為急需解決的問題。

本文從運(yùn)營(yíng)商視角，研究并探索了一條看清互聯(lián)網(wǎng)流量分布的路徑，旨在研究“區(qū)域—區(qū)域”間、“用戶—區(qū)域”間、“用戶—業(yè)務(wù)”間等多維度的互聯(lián)網(wǎng)流量分布，從而為網(wǎng)絡(luò)的組織及流量的合理疏導(dǎo)提供依據(jù)。

互聯(lián)網(wǎng)流量分布采集模型

為了了解互聯(lián)網(wǎng)流量的分布，首先需要獲取流量數(shù)據(jù)。根據(jù)目前互聯(lián)網(wǎng)的網(wǎng)絡(luò)組織方式，一個(gè)大型的網(wǎng)絡(luò)（如運(yùn)營(yíng)商網(wǎng)絡(luò)）內(nèi)部會(huì)采用分層方式構(gòu)建，即由一個(gè)核心層將各個(gè)區(qū)域互聯(lián)起來(lái)，區(qū)域內(nèi)部數(shù)據(jù)交換不經(jīng)過核心層，與外部交換才經(jīng)過核心層。一個(gè)區(qū)域（如省）內(nèi)可以是分層結(jié)構(gòu)，也可以是不分層結(jié)構(gòu)，目前采用較多的是扁平化不分層結(jié)構(gòu)。

在實(shí)際生產(chǎn)過程中，互聯(lián)網(wǎng)流量流動(dòng)基本形態(tài)如圖3所示。其中，每個(gè)單元（如IDC、MAN、互聯(lián)網(wǎng)核心層等）都有獨(dú)立的AS（自治域）號(hào)，但是還有不少在城域網(wǎng)下的IDC沒有獨(dú)立AS。

圖3 互聯(lián)網(wǎng)流量流動(dòng)基本形態(tài)

互聯(lián)網(wǎng)流量的采集模型有骨干核心采集模型、區(qū)域核心采集模型、邊緣采集模型3種。

骨干核心采集模型

骨干核心采集模型如圖4所示，為了掌握區(qū)域間的流量分布，即A—B區(qū)域交互的流量情況，在圖4綠色位置部署采集即可滿足。也就是說(shuō)，如果需要掌握“省—省”之間的流量分布，在核心層周邊部署采集即可。

圖4 互聯(lián)網(wǎng)流量骨干核心采集模型

此模型無(wú)法采集到區(qū)域內(nèi)部的流量，因此無(wú)法準(zhǔn)確掌握區(qū)域內(nèi)IDC—MAN不經(jīng)過核心層的流量情況。

從實(shí)際采集量來(lái)看，互聯(lián)網(wǎng)核心層設(shè)備數(shù)量大約在100臺(tái)，與區(qū)域互聯(lián)的電路大約在1萬(wàn)條。采集過程通常可由互聯(lián)網(wǎng)核心層網(wǎng)管系統(tǒng)來(lái)綜合實(shí)現(xiàn)。

區(qū)域核心采集模型

區(qū)域核心采集模型如圖5所示，為了掌握區(qū)域內(nèi)和區(qū)域間的流量分布，即除了A—B區(qū)域交互的流量情況，還要掌握區(qū)域內(nèi)IDC—MAN不經(jīng)過核心層的流量情況，則需要在圖5綠色位置部署采集。

圖5 互聯(lián)網(wǎng)流量區(qū)域核心采集模型

此模型可以采集到扁平化比較徹底的區(qū)域內(nèi)部的全部流量，如果是分層結(jié)構(gòu)，不經(jīng)過區(qū)域核心的下層交互流量無(wú)法采集。

從實(shí)際采集量看，區(qū)域采集設(shè)備大約在1000臺(tái)（各個(gè)區(qū)域相加），采集電路大約有1萬(wàn)條或是十萬(wàn)條。區(qū)域內(nèi)部采集數(shù)量可比照骨干核心采集模型，即區(qū)域內(nèi)部采集設(shè)備大約有幾十或數(shù)百臺(tái)，區(qū)域內(nèi)互聯(lián)的電路大約有上千或數(shù)萬(wàn)條。

單區(qū)域通常可參照互聯(lián)網(wǎng)核心層，由網(wǎng)管系統(tǒng)綜合實(shí)現(xiàn)；多區(qū)域因各個(gè)區(qū)域的網(wǎng)管系統(tǒng)不統(tǒng)一，所以需要重新部署采集、存儲(chǔ)、計(jì)算系統(tǒng)，無(wú)法在原有網(wǎng)管系統(tǒng)上疊加，只能由單獨(dú)的網(wǎng)管系統(tǒng)來(lái)實(shí)現(xiàn)。

邊緣采集模型

邊緣采集模型如圖6所示，此模型即在離用戶端設(shè)備最近的一層進(jìn)行采集，一般是匯聚交換機(jī)。此模型能采集到所有流量。

圖6 互聯(lián)網(wǎng)流量邊緣采集模型

單區(qū)域內(nèi)部采集量可比照區(qū)域核心采集模型，采集設(shè)備大約有1000臺(tái)，采集電路大約在1萬(wàn)或十萬(wàn)條。所有區(qū)域采集量，需要在上述基礎(chǔ)上增加一個(gè)數(shù)量級(jí)。不過在實(shí)際應(yīng)用中很難有全區(qū)域的邊緣采集，因?yàn)椴杉糠浅４螅瑳]有實(shí)際的應(yīng)用場(chǎng)景。通常僅針對(duì)部分特定的業(yè)務(wù)類型，需要在接入層進(jìn)行全量采集，如直連用戶的IDC業(yè)務(wù)交換機(jī)端口，采集接入端口的流量進(jìn)行計(jì)費(fèi)。

單區(qū)域具備由網(wǎng)管系統(tǒng)綜合實(shí)現(xiàn)的可能，多區(qū)域需要由單獨(dú)的網(wǎng)管系統(tǒng)來(lái)實(shí)現(xiàn)。

三種模型比較分析

對(duì)三種模型從采集量、準(zhǔn)確性、復(fù)雜度、適用范圍進(jìn)行比較分析如表1所示。

表1 骨干核心、區(qū)域核心、邊緣3種采集模型對(duì)比

綜合以上比較分析可以看出，對(duì)于單一區(qū)域，在準(zhǔn)確性要求高的情況下，可采用邊緣采集模型；對(duì)于多區(qū)域場(chǎng)景，兼顧準(zhǔn)確性和復(fù)雜度，區(qū)域核心采集模型較為合理可行。

區(qū)域核心采集模型實(shí)踐要點(diǎn)

流量采集及判斷要素

為了實(shí)現(xiàn)區(qū)域間、用戶間、業(yè)務(wù)間多維度互聯(lián)網(wǎng)流量分布計(jì)算分析，首先需要梳理出涉及分析的關(guān)鍵要素與相應(yīng)信息的對(duì)應(yīng)關(guān)系。

1. 流量采集要素

在數(shù)據(jù)包層面，根據(jù)TCP/IP協(xié)議，IP包頭中的“五元組”信息（即源地址、目的地址、源端口、目的端口以及協(xié)議類型）是關(guān)鍵信息。此數(shù)據(jù)可通過采樣網(wǎng)絡(luò)Netflow數(shù)據(jù)獲取。同時(shí)，AS之間一般使用BGP協(xié)議互通，路由表中的AS號(hào)信息也是關(guān)鍵信息，此數(shù)據(jù)可通過讀取BGP路由表獲取。

在物理端口層面，設(shè)備互聯(lián)端口（包括上聯(lián)、下聯(lián)）及流量信息是關(guān)鍵信息。這些信息可以輔助對(duì)區(qū)域的劃分、Netflow數(shù)據(jù)的完整性及準(zhǔn)確性進(jìn)行校驗(yàn)，通常可采集端口的SNMP數(shù)據(jù)獲取。

2. 流量判斷要素

互聯(lián)網(wǎng)流量的分布判定和識(shí)別大致分為三類：針對(duì)區(qū)域流量分布，主要通過AS、SNMP數(shù)據(jù)來(lái)判定；針對(duì)用戶流量分布，主要通過AS（有獨(dú)立AS號(hào)用戶）及IP（無(wú)獨(dú)立AS號(hào)用戶）來(lái)判定；針對(duì)業(yè)務(wù)流量分布，主要通過AS（可通過AS區(qū)分的業(yè)務(wù)，如IDC業(yè)務(wù)、移動(dòng)業(yè)務(wù)）及IP（如MAN內(nèi)的IDC業(yè)務(wù)）來(lái)判定。

流量采集和判斷方法

為確保流量既完整又不重復(fù)，需采集區(qū)域核心設(shè)備的所有端口的SNMP數(shù)據(jù)，以及單方向Netflow數(shù)據(jù)。其中，SNMP數(shù)據(jù)中需要準(zhǔn)確標(biāo)記端口類型（up/down/peer），讀取up端口的flow index，記錄在Netflow中相同index的flow數(shù)據(jù)。

根據(jù)Ne tf low中的源IP、目的IP，比對(duì)BGP路由表中的AS信息；由AS號(hào)對(duì)應(yīng)出不同區(qū)域，從而區(qū)分出區(qū)域流量分布；由AS號(hào)及用戶的IP地址，區(qū)分出用戶流量的分布；由AS號(hào)及業(yè)務(wù)的IP地址，區(qū)分出業(yè)務(wù)流量的分布。

以業(yè)務(wù)區(qū)域統(tǒng)一和業(yè)務(wù)區(qū)域不統(tǒng)一兩種情況為例，通過進(jìn)行區(qū)域流量分布分析和業(yè)務(wù)流量分布分析來(lái)說(shuō)明采集和分析方法，如圖7、圖8所示。

圖7 業(yè)務(wù)區(qū)域統(tǒng)一情況下的流量采集和分析

圖8 業(yè)務(wù)區(qū)域不統(tǒng)一情況下的流量采集和分析

在區(qū)域流量分布分析時(shí)，方法為：（1）在綠色采集層獲取IDC1、M A N1的所有端口S NM P、入方向Netf low數(shù)據(jù)；（2）根據(jù)SNMP端口表，得到所有UP端口的index；（3）在Netflow數(shù)據(jù)中獲取匹配到index的所有數(shù)據(jù)；（4）根據(jù)Netflow數(shù)據(jù)中的源地址、目的地址查BGP路由表，打上區(qū)域標(biāo)簽。

這樣，在區(qū)域流量分析時(shí)，IDC1（AS 1111）、IDC2（AS 2222）及MAN（AS 2222）的流量將被標(biāo)記為區(qū)域A。兩張圖的區(qū)域分布相同。

在業(yè)務(wù)流量分布分析時(shí)，由于圖8中IDC2為IDC業(yè)務(wù)，需要被標(biāo)記為IDC而不是MAN，因此需要增加一步：源地址為2.2.2.2的IDC2流量，打上業(yè)務(wù)標(biāo)簽IDC。

這樣，在做業(yè)務(wù)流量分析時(shí)，圖7中IDC1（AS 1111）、IDC2（AS 1111）的流量被標(biāo)記為IDC業(yè)務(wù)，而圖8中IDC1（AS 1111）、IDC2（AS 2222）的流量被標(biāo)記為IDC業(yè)務(wù)。在實(shí)際生產(chǎn)過程中，這種情況非常普遍。

流量校準(zhǔn)機(jī)制

為確保數(shù)據(jù)準(zhǔn)確完整，可將SNMP數(shù)據(jù)與Netflow數(shù)據(jù)作為兩個(gè)數(shù)據(jù)源，進(jìn)行比對(duì)，互相校準(zhǔn)。如以天為顆粒度，取各區(qū)域核心設(shè)備上行出口Netflow分析數(shù)據(jù)與設(shè)備上行出口電路SNMP數(shù)據(jù)進(jìn)行比對(duì)，出現(xiàn)偏差立即核準(zhǔn)。

數(shù)據(jù)庫(kù)選擇考量

為實(shí)現(xiàn)互聯(lián)網(wǎng)流量分布計(jì)算，可采用圖9的數(shù)據(jù)庫(kù)架構(gòu)。來(lái)自網(wǎng)絡(luò)的Ne tf low流量數(shù)據(jù)，先傳輸?shù)较⒅虚g件Kafka中。這是因?yàn)镹etflow流量數(shù)據(jù)非常大，大數(shù)據(jù)分析過程中瞬時(shí)間產(chǎn)生大量數(shù)據(jù)，使用Kafka作為緩沖，可將不能及時(shí)處理的數(shù)據(jù)存入Kafka中隊(duì)列等待。

圖9 可實(shí)現(xiàn)互聯(lián)網(wǎng)流量分布計(jì)算的數(shù)據(jù)庫(kù)架構(gòu)

對(duì)K af ka流量進(jìn)行RNN模型訓(xùn)練，即流量預(yù)測(cè)、監(jiān)控、端口誤差分析，同時(shí)使用Flink對(duì)Kaf ka流量進(jìn)行分析計(jì)算。Flink具有低延遲、容錯(cuò)強(qiáng)的特點(diǎn)，同時(shí)Flink有一個(gè)時(shí)間水位機(jī)制，可以限定晚到達(dá)的數(shù)據(jù)同樣能夠統(tǒng)計(jì)到同一時(shí)間點(diǎn)中。

然后將結(jié)果輸出到Clickhoue分布式數(shù)據(jù)庫(kù)中存入中間表，保證大量的數(shù)據(jù)存儲(chǔ)查詢性能不受影響，同時(shí)滿足各種分析、多種內(nèi)置函數(shù)使用，在大量數(shù)據(jù)查詢時(shí)穩(wěn)定高效。最終輸出分析結(jié)果。

互聯(lián)網(wǎng)流量分布計(jì)算模型應(yīng)用及效果

骨干核心采集模型精細(xì)化程度不足，只能進(jìn)行區(qū)域間的流量分布計(jì)算，不能細(xì)化到業(yè)務(wù)。因此，目前采用區(qū)域核心采集模型，在區(qū)域核心層部署采集，基本達(dá)到了預(yù)期的效果。

實(shí)際采集量

1. 設(shè)備量

在實(shí)際應(yīng)用中，區(qū)域邊緣設(shè)備采集近1000臺(tái)，上下聯(lián)電路數(shù)量大約20萬(wàn)條。利用這些設(shè)備和電路做全量采集。

2. 數(shù)據(jù)量

根據(jù)上述分析，對(duì)SNMP和Netflow數(shù)據(jù)進(jìn)行采集。其中SNMP數(shù)據(jù)量每天大約50MB，Netflow數(shù)據(jù)每天120TB，其采樣比為3000:1。

應(yīng)用及效果

1. 區(qū)域分析

通過區(qū)域數(shù)據(jù)，可以得到區(qū)域—區(qū)域間總流量視圖、某區(qū)域—其他區(qū)域流量視圖，如圖10所示，從而全面掌握區(qū)域間的流量分布。

2. 用戶分析

根據(jù)用戶信息，可以得到某用戶—區(qū)域的流量分布，從而掌握用戶在各區(qū)域間的流量分布和調(diào)度情況。

3. 業(yè)務(wù)分析

根據(jù)業(yè)務(wù)信息，可以得到某業(yè)務(wù)—區(qū)域的流量分布，掌握業(yè)務(wù)流量在各區(qū)域間的分布。尤其是針對(duì)同質(zhì)業(yè)務(wù)，此類分析將有助于分析業(yè)務(wù)分布的合理性。

4. 趨勢(shì)分析

根據(jù)歷史積累的數(shù)據(jù)得出多維度的流量變化規(guī)律，從而輔助預(yù)測(cè)和判斷整體、區(qū)域間、單區(qū)域、用戶、業(yè)務(wù)流量的變化，如圖11所示，為調(diào)節(jié)區(qū)域間、用戶間、業(yè)務(wù)間流量分布提供較為可靠的量化數(shù)據(jù)依據(jù)。