C114訊 11月10日消息(水易)今日,以數字科技,煥新啟航為主題的中國電信2023數字科技生態大會暨2023數字科技生態展在廣州盛大啟幕。
在上午的主論壇環節,天翼云科技有限公司總經理胡志強正式對外發布了天翼云構建的全棧大模型智算服務。
胡志強表示,2023年是大模型高速發展的一年,大模型不斷擴大的參數規模和快速迭代的技術路線跨越式地提升了模型的能力,但是同時也為大模型的訓練和應用帶來了很多挑戰。比如算力利用率的瓶頸日益凸顯、算力成本壓力進一步增大、模型的構建難度不斷提升,模型的行業落地更加復雜。
為順應大模型時代對于云服務商的新要求,天翼云全面升級,構建了全棧大模型智算服務,包括打造智算數據中心AIDC、升級云智超一體化基礎設施平臺云驍、推出一站式智算服務平臺慧聚,構建國云大模型生態,形成云智一體的智算服務體系。
升級云智超基礎設施平臺云驍
整個體系的基石是智算基礎設施。胡志強表示,針對AI高強度運算帶來的散熱問題,天翼云推出液冷DC艙,融合定制化液冷智算服務器,實現低至1.12的PUE。
與此同時,天翼云將云驍升級成為云智超一體化基礎設施服務平臺,構建高性能RoCE網絡、并行文件存儲等服務;重點提升訓練加速、網絡加速等核心能力,同時升級了運維體系,實現對基礎設施的全面故障預測和感知。國產化方面,云驍平臺率先在公有云加載天翼云RoCE網絡+國產GPU方案并實現商用。
打造一站式智算服務平臺慧聚
為加速大模型在行業的應用落地,天翼云正式發布一站式智算服務平臺慧聚。據了解,慧聚平臺將大模型開發訓練過程中的關鍵流程、復雜技術和寶貴實踐經驗進行總結和抽取,構建出一站式全鏈路的大模型生產應用的流水線。大幅降低大模型訓練、微調、部署、推理的門檻,讓客戶能夠更專注于模型升級和應用落地。
技術層面,慧聚平臺成功突破了算子加速、模型并行、斷點續訓等技術難點,將高性能計算能力、分布式算力調度能力、訓練和推理多環節加速技術、高性能數據存儲技術進行封裝;實現了萬卡集群調度,穩定性、訓練推理速度等核心指標大幅提升。
功能層面,慧聚平臺基于數據平臺、模型訓練平臺、模型服務平臺和應用服務平臺四大平臺,提供數據準備、模型開發、任務管理、模型優化等七大主要產品功能模塊,每個功能模塊又包含多級組件。功能與組件之間可以靈活組裝,幫助用戶打造針對不同場景的專屬工具集。
共建繁榮的國云大模型創新生態
基于全新的基礎設施服務平臺云驍和智算服務平臺慧聚,天翼云已經為大模型開發者、大模型提供者、應用廠商、政府與科研機構、行業協會等合作伙伴提供多種生態模式支持。
胡志強表示,依托國云智算底座,發揮國云安全優勢,天翼云愿與產業各方合作伙伴緊密協作,廣泛匯聚國內外AI芯片伙伴、各類通用大模型及行業大模型伙伴及廣大開發者,共建繁榮的大模型創新生態,攜手打造先進的智算生產力,全面賦能經濟社會的數字化和智能化。