2 月 10 日消息,據(jù)科創(chuàng)板日報報道,華為計算產(chǎn)品線相關(guān)負(fù)責(zé)人就“華為在類似 ChatGPT 方向的布局”回應(yīng)稱,公司 2020 年開始在大模型有布局,2021 年發(fā)布了鵬城盤古大模型,是業(yè)界首個千億級生成和理解中文 NLP 大模型。
在 2021 年 4 月的華為開發(fā)者大會 2021(Cloud)上,華為云發(fā)布盤古系列超大規(guī)模預(yù)訓(xùn)練模型,包括 30 億參數(shù)的視覺(CV)預(yù)訓(xùn)練模型,以及與循環(huán)智能、鵬城實驗室聯(lián)合開發(fā)的千億參數(shù)、40TB 訓(xùn)練數(shù)據(jù)的中文語言(NLP)預(yù)訓(xùn)練模型。
華為云人工智能領(lǐng)域首席科學(xué)家、IEEE Fellow 田奇彼時表示:“預(yù)訓(xùn)練大模型是解決 AI 應(yīng)用開發(fā)定制化和碎片化的重要方法。華為云盤古大模型可以實現(xiàn)一個 AI 大模型在眾多場景通用、泛化和規(guī)模化復(fù)制,減少對數(shù)據(jù)標(biāo)注的依賴,并使用 ModelArts 平臺,讓 AI 開發(fā)由作坊式轉(zhuǎn)變?yōu)楣I(yè)化開發(fā)的新模式。”
根據(jù)此前信息,盤古 NLP 大模型是當(dāng)時全球最大的千億參數(shù)中文語言預(yù)訓(xùn)練模型,由華為云、循環(huán)智能和鵬城實驗室聯(lián)合開發(fā),預(yù)訓(xùn)練階段學(xué)習(xí)了 40TB 中文文本數(shù)據(jù),并通過行業(yè)數(shù)據(jù)的樣本調(diào)優(yōu)提升模型在場景中的應(yīng)用性能。
▲ 華為開發(fā)者大會 2021(Cloud)發(fā)布的盤古大模型
報道稱,華為表示,在大模型產(chǎn)業(yè)化方面已發(fā)起了智能遙感開源生態(tài)聯(lián)合體、多模態(tài)人工智能產(chǎn)業(yè)聯(lián)合體,智能流體力學(xué)產(chǎn)業(yè)聯(lián)合體等,將以聯(lián)合體的模式把科研院所、產(chǎn)業(yè)廠商等結(jié)合起來,更好地讓大模型產(chǎn)業(yè)形成正向的閉環(huán)回路。