傳感器無處不在——例如,當道路空無一人時關閉高速公路燈時可監測橋梁的健康狀況,監測電信網絡和電網的復雜信號。這些傳感器的每一次閃爍都是一個字節的數據,經過精心記錄和存儲。隨著過去十年數據存儲成本的暴跌,我們談論的是數字倉庫中雪崩般的數據。
這些數據中的大部分都在黑暗中,沒有經過分析,也看不見。這就是專家們所說的暗數據。現在,隨著人工智能進入基礎設施領域,這些休眠的數據即將成為人們關注的焦點。
IEEE終身高級會員Raul Colcher表示:事實上,似乎有大量關于基礎設施運營的數據可以更好地用于提高其有效性。
人工智能因數據而蓬勃發展——數據越多越好。當涉及到訓練復雜的人工智能模型時,這些多年來從無數傳感器和系統中收集的暗數據可能非常有價值。
那么,揭露這些暗數據有什么大不了的?首先,它改變了基礎設施運營的游戲規則。隨著人工智能的介入將暗數據帶入聚光燈下,我們可以期待效率的飛躍,以及設計和使用我們的基礎設施的新方法,以實現數據比人更頻繁移動的未來。
字節構建得更好
很多時候,暗數據沒有被使用,因為它沒有被正確標記,因此很難分析。一些研究表明(https://ieeexplore.ieee.org/document/9740126),使用暗數據可以大大改進在手機網絡中分配資源的機器學習算法。在另一個案例中,一家石油和天然氣工廠的數據科學家能夠使用暗數據在不干擾運營的情況下改進工廠的數字模型。
哪里的影響最大?
分析和建模這些數據的好處是巨大而多樣的。從規劃到運營、維護等,基礎設施的各個方面都可能發生轉變。描繪更準確的模型、更好的自動化,以及對我們的系統如何真正工作的更深入理解。
挑戰
然而,利用暗數據也面臨著一些挑戰,暗數據雖然豐富,但并不總是干凈或無錯誤的。數據質量、偏見、數據來源和安全性等問題迫在眉睫。解決這些挑戰對于充分發揮人工智能在基礎設施領域的潛力至關重要。
正如IEEE會員汪齊齊所言:數據量的激增并不保證更好的結果。過濾掉干擾或質量低劣的數據提出了重大挑戰。 中國正積極探索利用人工智能技術處理龐大的基礎設施數據,以促進其城市建設和發展。
了解更多:2023年是人工智能具有里程碑意義的一年,由于生成人工智能工具的力量,廣大公眾對人工智能的認識越來越高。IEEE Spectrum深入報道了發展情況。由此可以查看2023年最熱門人工智能故事的總結:https://spectrum.ieee.org/ai-news-2023。