端側AI可能帶來的算力閑置

端側AI的性能雖然弱于云側AI，但更貼近用戶使用場景，低延時、高可靠性、低成本、隱私和安全等優勢顯著，更有機會獲得用戶的認同和使用。隨著今年端側AI的爆發，端側的硬件性能得到了大幅提升。

安迪-比爾定理 （Andy and Bill’s Law）是對IT產業中軟件和硬件升級換代關系的一個概括。“Andy gives, Bill takes away.（安迪提供什么，比爾拿走什么。）” 安迪指英特爾前CEO安迪·格魯夫，比爾指微軟前任CEO比爾·蓋茨，意思是硬件提高的性能，很快被軟件消耗掉了。

但是，AI終端（手機、電腦）的AI功能（如文本生成、多模態音視頻處理等），目前從場景和使用頻率來看，遠不及手機、電腦傳統的各類功能應用，端側智能體的生態也尚未形成，當云側大模型還在拿著錘子找釘子，滿世界尋找應用場景的時候，端側AI又開始搶奪需求，AI的供求失衡很可能出現，導致一定時期內端側AI的硬件設備處于閑置狀態。

端側AI的邊緣算力有多大

以手機為例，根據中國電信研究院2023年“終端智能算力發展指數”報告，截至2023年2月，國內存量手機終端智能算力總規模超7100EOPS，是我國數據中心算力總規模12倍以上。據2024年5月Counterpoint&和聯發科發布的《生成式AI手機產業白皮書 》，預計在 2027 年AI手機將會AI手機的存量規模將會從 2023 年的只有百萬級別增長至 2027 年的 12.3 億部， AI手機端側整體 AI算力將會達到 50000EOPS以上，未來AI 手機將會成為不可忽視的 AI計算資源池。

根據App Annie發布的《2022年移動狀態報告》，2021年全球移動設備使用量為3.8萬億小時，平均每天使用3.3小時。QuestMobile 2023中國互聯網核心趨勢年度報告顯示，12.24億用戶每月上網160小時 。由此可見，從用戶使用習慣來看，智能手機除了正常每天3-5小時的使用，其余大部分時間處于充電、休眠等開機狀態。在多數時間里，AI算力都處于閑置狀態。

再來看看AI PC,微軟將最低內存配置16GB，至少40 TOPS以上計算能力的電腦定義為AI PC。Canalys預測到2027年AI PC全球出貨量預計超過1.7億臺，在總個人電腦出貨量的占比超60%，23-27年AI PC出貨量 CAGR達63%。按此計算，AI PC 2027年一年的出貨量就能新增端側算力至少68億TOPS。 AIPC用戶在不使用時，可能處于關機/待機狀態，但只要有足夠的動力驅動，其算力完全可能得到共享利用。

利用AI端側算力的技術可行性

在端側算力的利用上，目前主要有六大關鍵技術，包括層次化端算力感知圖模型、面向多終端協同的資源虛擬化技術、多終端協同的數據壓縮技術、多粒度多層次端算力調度、面向終端設備的現場級 AI 推理以及端算力的定價機制。

層次化端側算力感知圖模型，試圖構建終端設備的算力特征向量（A=[計算資源剩余量，存儲資源剩余量，電池剩余量，通信能力，數據感知能力，移動模式，微服務匹配度，隱私保護度]），并根據特征向量評估終端設備的綜合算力值。端側設備能夠憑借其智能體實時感知的能力，計算特征向量，評估自身的綜合算力值，并提供給需求者。

面向多終端協同的資源虛擬化技術，在邊緣計算環境中，海量的端側設備與包含 CPU、GPU、FPGA、TPU 等不同計算架構的邊緣計算基礎設施共同構成了極度異構的計算環境。信通院在《邊緣算力白皮書》2022》中指出，為了實現不同計算硬件的統一調度，業界從兩個方向開展技術研究與實現，以云廠商為代表的邊緣計算服務商，通過虛擬化技術將計算資源池化，向用戶提供算力資源服務；邊緣計算硬件廠商，基于自身硬件產品，提出統一的編程模型，為跨 CPU、GPU、FPGA、專用加速器的開發者提供統一的體驗。隨著端側算力的爆發，云廠商會加快做好前者，而端側設備的廠商，完全有能力也有動力做好后者。

多終端協同的數據壓縮技術，端側設備能夠借助自身大模型的非線性映射能力，快速學習到海量數據（如視頻、圖片）的深層次特征，更加有效地去除掉冗余數據特征，滿足海量數據壓縮的需求，實現端側海量數據的低時延傳輸。

多粒度多層次端算力調度有兩方面的工作，一是任務的解構，大型任務無法在單個終端上承載，需要將其根據業務邏輯，資源需求，性能需求，服務持續性，業務流粘性，資源節點統一性等因素，分解成小粒度，簡化的算力需求，使業務可以分布式地部署在多個終端算力節點上。二是多層次的算力調度，包括端側算力網絡內部的多層次調度和云邊端協同的多層次調度。這兩點可以通過端側AI和云側AI的協同來實現。

面向終端設備的現場級 AI 推理，實際上就是要求在端側部署大模型，端側設備具有的高算力芯片和部署的大模型，能夠輕而易舉地實現這一關鍵技術。

端側算力定價機制是共享端側算力的基礎，在《端側算力網絡白皮書（2022年）》中提出了區塊鏈工作量證明和基于拍賣算法的定價策略。前者可以構建一個端側算力的區塊鏈，端側設備通過工作量證明機制獲得一定的token獎勵，后者可以通過端側設備的AI AGENT，對算力進行議價，實現算力的共享。

端側AI算力對電信運營商的意義

1.緩解云側AI算力消耗，降低數據中心能耗

端側設備是通過電信網絡接入通信網和互聯網，因此，運營商可以考慮通過虛擬化技術將計算資源池化，將端側的算力納入其算力板塊，成為運營商算力的重要組成，通過有效運營帶來增量收入，如果運營商不思考如何利用這一算力，很有可能被其它云廠商搶占。

數據中心是耗能大戶。據統計，數據中心每年消耗的電力約占全球總發電量的2%。其中，AI計算是數據中心的主要耗能來源之一。端側設備可以幫助企業降低數據中心的能耗。當AI任務在端側設備上完成時，就不需要將數據傳輸到云端進行處理，從而可以節省大量的能源，有效降低數據中心的能耗，減少碳排放。

2.與用戶實現共贏

用戶將閑置算力共享出去，可以提高終端的利用率，發揮更大價值。從而獲得額外的收入。這可以降低部分終端的購買和使用成本。用戶通過出租閑置算力獲得報酬，報酬的多少取決于閑置算力的數量和質量。例如，如果用戶的終端配備了更高性能的AI芯片，那么他可以獲得更高的報酬。

運營商可以通過平臺將來自多個用戶的閑置算力聚合在一起，形成一個巨大的算力資源池。提供給需要AI計算能力的企業和機構。還可以利用其閑置算力來完成一些計算密集型的任務。

例如Folding@home項目，是一個研究蛋白質折疊、誤折、聚合及由此引起的相關疾病的分布式計算工程，由斯坦福大學化學系的潘德小組( Pande Group )主持，于 2000 年 10 月 1 日正式啟動， Folding@home是目前世界上最大的分布式計算項目。截止目前有超過百萬人參與項目，它的計算能力總能達到全球超級計算機 TOP 10 水平。新冠流行期間，Folding@home 向全球發出號召，希望更多人能貢獻自己的閑置算力幫助其尋找新冠肺炎的突破口。

表1 邊緣算力的貢獻（數據來源：Folding@home官網）

還有其它一些邊緣算力共享的例子，如Einstein@Home項目基于BOINC平臺，利用志愿計算的威力來處理分析LIGO和GEO600采集的海量觀測數據，以從中尋找引力波存在的證據。CPDN項目嘗試預測21世紀氣候等等。

3.風險與挑戰

端側AI作為邊緣計算中的新成員，正在逐漸展現出其巨大的潛力。隨著技術的進步和應用場景的拓展，端側AI的算力資源有望被更廣泛地共享，實現資源的優化配置和高效利用。

端側AI算力共享依賴于用戶對共享的利益和風險的充分理解。用戶是否愿意分享其設備算力，很大程度上取決于他們對共享可能帶來的經濟激勵和服務優化等實際好處的認知，以及對數據安全和隱私保護的擔憂。因此，建立一個透明、可靠的共享機制，確保用戶數據的安全和隱私，是至關重要的。

共享算力的收益價值是影響用戶分享意愿的關鍵因素。用戶需要看到通過共享算力能夠獲得的實際利益，這可能包括經濟補償、服務優化或其他形式的回報。只有當用戶認為共享算力的收益明顯大于其潛在風險時，他們才更有可能積極參與。

隱私保護是端側AI算力共享中不可忽視的問題。必須采取有效的技術措施和管理策略來保護用戶的隱私，如數據加密、匿名化處理和訪問控制等，以確保用戶數據在共享過程中不被濫用或泄露。

端側AI算力的管理平臺同樣面臨著成本和持續經營能力的挑戰。平臺需要投入資源進行技術研發、維護運營和市場推廣，同時也需要探索可持續的商業模式，以確保平臺的長期穩定發展。