近日, Gartner發布了2023年《中國分析平臺市場指南》(Market Guide for Analytics Platforms, China, August 2023)。在這份市場指南中,星環科技憑借其智能分析工具Sophon Base入選代表廠商。值得一提的是,自Gartner2022年首次發布《中國分析平臺市場指南》以來,星環科技已經作為代表廠商,連續兩年入選該份報告。
Gartner在指南中指出,“隨著中國對數字經濟發展的重視,中國的分析平臺市場正受到前所未有的關注。”據Gartner預測,“2023年中國的分析平臺市場增長率高達19%,到2026年將達到23%,總體增長率和增幅在很大程度上超過全球平均水平和其他經濟體。”而分析門戶、增強功能和大型語言模型(LLM)驅動的生成式人工智能等技術,都將為整個市場帶來新的活力。根據Gartner報告數據顯示:“截至2024年,中國的供應商預計將擁有中國79%的市場份額,這相當于從非中國的供應商轉移2200萬美元到中國的供應商。”我們不難推算得出,截至2024年中國分析和BI平臺的整體市場總量將超過2700萬美元。
Sophon 3.2 “六易三倉兩中心”架構,實現新一代AI平民化
作為連續入選Gartner中國分析平臺市場指南的代表廠商,星環科技Sophon針對目前各行業用戶在落地廣泛業務需求分析、處理多重數據模態對接、跟進高度定制場景問題解決、運營多源多框架AI模型等方面的問題,發布了“六易三倉兩中心”架構的3.2版本,從高質量的數據資產沉淀和模型持續運營出發,貫徹以數據和模型為中心,讓用戶能夠基于自身需求構建緊密貼合其業務場景的新一代AI應用。
Sophon v3.2架構圖
“六易”:Sophon 3.2從用戶需求出發,對數據接入獲取、模型構建訓練、模型運維管理、模型發布迭代等AI應用全生命周期的流程做了打通和優化,全面降低了AI使用門檻:
樣本“易”管理:提供可處理多模態數據的樣本倉庫,支持數據標注和審核;
場景“易”開發:支持可視化、編程式、流程式建模服務以及內置的圖計算、時序計算及ML算法庫,讓建模場景易搭建;
模型“易”獲得:提供模型倉庫,統一納管多源模型,并進行靜態評估;
模型“易”管理:提供模型運營及可解釋模塊,支持統一部署、監控、評估,全面掌握模型運行狀態;
效果“易”迭代:提供可視化配置模型迭代Pipeline流程,實現持續訓練、集成和部署。
系統“易”運維:支持X64/ARM等架構,GPU/NPU等加速硬件,多種操作系統和主流分布式機器學習計算框架、計算/存儲資源管理和統一調度,讓系統更加易用。
“三倉”:圍繞數據開發全流程,Sophon 3.2以數據流視角分別建設“樣本倉庫、模型倉庫和應用倉庫”,實現全流程、多模態數據的統一納管。
樣本倉庫:精細化的數據管理和高質量的多模態數據輸出,推動高質量模型迭代;
模型倉庫:統一管理多源模型,便于模型開發與應用人員找到最適合業務場景的模型,組裝輸出高質量模型服務;
應用倉庫:內置代碼生成、領域知識問答、營銷、風控、圖譜風險探查、圖像檢索、內容安全檢測等多種場景,以低代碼方式快速構建符合業務需求的實際應用。
Sophon應用倉庫場景模板
生成式AI,讓大數據分析更智能
為更好地激發AI模型資產價值,Sophon 3.2發布的Sophon LLMOps大語言模型運營平臺,提供大模型的微調及運維工具鏈,可幫助企業用戶快速開發構建領域大模型應用。同時,使用Sophon LLMOps進行指令開發和模型微調、對齊,星環科技開發出了最新的大數據分析大模型SoLar求索,可以基于自然語言進行SQL、Python和Cypher的快速轉化,讓業務人員在不需要學習和掌握數據庫編程語言的前提下自由地按需查詢數據。
Sophon LLMOps架構圖
大數據分析大模型SoLar求索的NL2SQL功能
在智能領域知識問答系統的落地實踐中,Sophon LLMOps結合向量數據庫Hippo的解決方案,可以實現專業領域的智能問答系統構建,解決了傳統問答系統中的行業屬性、知識分散和更新滯后等問題,并且可以大大降低開發投入和運維成本,讓企業獲取知識的過程變得更加簡單高效、獲取的內容變得精簡可追溯、知識的更新變得更加即時。
星環大模型運營平臺Sophon LLMOps應用鏈
案例:Sophon為大型金融機構構建模型運營管理平臺
某大型金融機構希望將各業務部門開發的機器學習/深度學習模型和大模型,都作為企業的AI資產,進行沉淀和集成管理,并且以天為單位進行模型訓練、更新及迭代,實現模型全生命周期的自動化流程,包括CT/CI/CD。此外,需要官網的智能客服業務接入大模型應用,以提升企業的智能化運營能力。
針對該金融機構的AI資產沉淀、自動化流程及LLM應用等需求,Sophon結合“三倉”和最新發布的LLMOps,為其搭建了企業級的模型統一運營管理平臺,實現了金融機構的AI資產集成管理及對外發布、細粒度的資源隔離和權限管控、穩健快速的模型自動化服務流程及大模型的私有化部署和推理加速。項目成果如下:
1、AI資產管理:統一接入多個部門數十個業務場景的模型應用,同時對外提供API服務;
2、資源隔離和權限管控:通過集群資源劃分及GPU分組等功能,實現了訓練、推理資源的隔離,確保各部門之間的數據和計算資源互不干擾。另一方面,通過細粒度的權限控制,確保只有授權人員能夠訪問相關資源;
3、減少80%的人工操作:支持使用回流數據持續迭代模型,然后作為新增版本集成至模型倉庫,最終自動部署為模型服務,實現全流程自動更新;大幅縮短模型開發與迭代的時間,并確保在高頻迭代中模型服務的穩定性和性能;
4、大模型能力:支持20+開源及非開源的大模型私有化部署,支持多種推理模型(streaming/非streaming),支持多種推理加速框架(Triton)。
在數字經濟時代,星環科技將始終致力于大數據、人工智能領域的產品研發和技術創新,通過前沿的大數據分析技術助力數據要素價值的迸發,為企業構建智能化應用和數字化轉型持續提供堅實的技術支持。