數(shù)據(jù)顯示，我國現(xiàn)在約有2780萬聽障人士，每年還有大量聽障新生兒不斷增加中。隨著社會的發(fā)展和進(jìn)步，聽障人士的權(quán)利意識、參與意識和平等意識都在不斷增強(qiáng)，他們對信息的知情愿望、與健聽人士的交流愿望也隨之增強(qiáng)。盡管隨著科技的發(fā)展，越來越多的聽障人群可以通過語音轉(zhuǎn)文字來溝通，然而，手語依然是聾人之間的首要溝通語言。

　　手語是聽障人群交流的一種特殊表達(dá)方式和主要溝通工具，以手的動作、手指指式、身體姿態(tài)及面部表情的變化為表意或表音手段，進(jìn)行交際的一種符號系統(tǒng)。不同于聽覺語言，手語是一種視覺語言，由于表達(dá)和語法邏輯與健聽人所學(xué)習(xí)的不同，大部分健聽人看不懂手語的表達(dá)。所以，對于聽障人士來說，獲取信息是一方面，他們最渴望的，還是內(nèi)心的表達(dá)，被“看懂”、被“理解”。

　　9月10日下午，天津市人工智能計(jì)算中心200P人工智能算力上線儀式在天津市河北區(qū)舉行。會上，天津市殘疾人聯(lián)合會、天津理工大學(xué)、天津市人工智能計(jì)算中心、華為技術(shù)有限公司聯(lián)合簽約，基于昇騰AI算力及昇騰全場景AI框架昇思MindSpore，各方將共同研發(fā)“海河·爾語”聾人手語理解大模型，打造更精準(zhǔn)的“手語-漢語”翻譯產(chǎn)品，幫助聽障人群更便捷、更準(zhǔn)確的表達(dá)、傳遞信息，拓寬與外界的交流通道。

圖：四方將共同研發(fā)“海河·爾語”聾人手語理解大模型

　　天津理工大學(xué)聾人工學(xué)院是天津市政府和中國殘聯(lián)合辦、我國第一所面向全國招收聾人的高等工科特殊教育學(xué)院，也是國內(nèi)最早面向聽障學(xué)生開設(shè)“全納”（聽障學(xué)生進(jìn)入健聽班級隨班就讀、跨學(xué)院聯(lián)合培養(yǎng)）教育本科專業(yè)的高校。該學(xué)院在積極探索和構(gòu)建面向聽障生的融合育人培養(yǎng)體系的同時，也在持續(xù)探索如何構(gòu)建并使用海量手語數(shù)據(jù)資源，提升聽障人士生活和學(xué)習(xí)質(zhì)量，促進(jìn)聾健融合，通過人工智能技術(shù)力量助力國家無障礙建設(shè)。

圖：天津理工大學(xué)聾人工學(xué)院副院長袁甜甜介紹手語大模型

　　然而，手語大模型的構(gòu)建時存在以下難點(diǎn)：1、手語語料庫收集困難，需要熟悉標(biāo)準(zhǔn)的手語的模特示范，專業(yè)攝影及視圖處理；2、手語語料數(shù)據(jù)普遍質(zhì)量不高，需要多次收集、嚴(yán)格比對優(yōu)化；3、缺少手語語言學(xué)語法分析體系，且缺失自動標(biāo)注智能模型和手語表達(dá)的多樣性，需要大量的人工標(biāo)注和不斷修正迭代；4、單信道手語識別準(zhǔn)確率低，多信道手語數(shù)據(jù)融合難，手語視圖需要結(jié)合人物表情、動作幅度、周圍環(huán)境等多模態(tài)信道。

　　為解決以上難題，天津市殘疾人聯(lián)合會、天津理工大學(xué)攜手華為TECH4ALL數(shù)字包容團(tuán)隊(duì)，依托天津市人工智能計(jì)算中心提供的澎湃AI算力，基于華為昇騰AI基礎(chǔ)軟硬件平臺，特別是全場景AI框架昇思MindSpore，共同研發(fā)“海河·爾語”聾人手語理解大模型，共同致力于打造更精準(zhǔn)的“手語-漢語”翻譯產(chǎn)品。

圖：袁甜甜介紹手語大模型帶來的優(yōu)勢和應(yīng)用場景

　　“海河·爾語”大模型為國內(nèi)首個自主可控聾人手語理解大模型，以聾人手語視圖為藍(lán)本，結(jié)合動作幅度、速度、人物表情及周圍環(huán)境，深度、準(zhǔn)確理解聾人手語表達(dá)的含義，并轉(zhuǎn)換為健全人能理解的語音與文字，在國內(nèi)獨(dú)樹一幟。超過百萬的手語數(shù)據(jù)集將“喂”給“海河·爾語”大模型，經(jīng)過模型與算法處理，便能高效地生成手語多模態(tài)模型，可以支持超過10億的數(shù)據(jù)標(biāo)注手語到漢語的翻譯與訓(xùn)練。

　　未來，“海河·爾語”聾人手語理解大模型研究成果更有望走向更廣闊的社會范疇，應(yīng)用于智慧城市、智慧教育、智慧醫(yī)療、智慧養(yǎng)老、智能出行及公益項(xiàng)目等多個領(lǐng)域。

　　打破溝通障礙，讓生活更有溫度，科技從未停止探索的腳步。聽障人群是我國社會不可忽視的重要組成部分，準(zhǔn)確、及時的獲取聽障人士的表達(dá)、將信息傳遞給更多聽障人士和健聽人，是我國建設(shè)和諧社會、生態(tài)文明發(fā)展的重要需求。華為TECH4ALL數(shù)字包容團(tuán)隊(duì)將繼續(xù)攜手更多合作伙伴，共同助力聽障人士更加便捷的融入社會，讓數(shù)字世界更平等可持續(xù)。