科技日?qǐng)?bào)記者 華凌

北京2022年冬奧會(huì)和冬殘奧會(huì)首次在中國(guó)舉辦，我國(guó)廣大聽障人群也期待著深入了解比賽資訊，全面感受這場(chǎng)精彩卓越的奧運(yùn)盛會(huì)。

全國(guó)第二次殘疾人抽樣調(diào)查數(shù)據(jù)顯示，中國(guó)有超過2700萬名殘疾性聽力障礙人士。為了讓殘疾人朋友也可以更好地感受冬奧盛況，2月3日，由北京市科委立項(xiàng)實(shí)施的“冬奧手語(yǔ)播報(bào)數(shù)字人系統(tǒng)”正式上線，在北京冬奧會(huì)期間將在北京廣播電視臺(tái)新聞節(jié)目中投入使用，服務(wù)廣大聽障人士。

“冬奧手語(yǔ)播報(bào)數(shù)字人的應(yīng)用展現(xiàn)我們‘讓機(jī)器像人一樣思考’的愿景。不僅使聽障人士能快捷獲取冬奧賽事資訊，還將無障礙環(huán)境理念傳遞到數(shù)億人群?！?月4日，智譜AI CTO張鵬在接受科技日?qǐng)?bào)記者采訪時(shí)介紹。

據(jù)了解，本次亮相的“冬奧手語(yǔ)播報(bào)數(shù)字人”由北京市科委、中關(guān)村管委會(huì)科技冬奧專班委托智譜AI、凌云光和北京廣播電視臺(tái)聯(lián)合打造，還得到北京市殘疾人聯(lián)合會(huì)和市殘聯(lián)聾人協(xié)會(huì)的大力支持。

張鵬表示，這個(gè)系統(tǒng)基于“悟道2.0”超大智能模型進(jìn)行研發(fā)，由北京智源人工智能研究院牽頭研發(fā)的“悟道2.0”旨在打造數(shù)據(jù)和知識(shí)雙輪驅(qū)動(dòng)的認(rèn)知智能，實(shí)現(xiàn)超越圖靈測(cè)試的機(jī)器認(rèn)知能力?！拔虻?.0”模型的參數(shù)規(guī)模達(dá)到1.75萬億，是GPT-3的10倍，是目前中國(guó)首個(gè)、全球最大的萬億級(jí)模型。由此，系統(tǒng)可自主搭建多模態(tài)肢體動(dòng)作、表情、手指同步采集系統(tǒng)，運(yùn)用跨模態(tài)擬人生成算法、超高精度寫實(shí)數(shù)字人等行業(yè)領(lǐng)先技術(shù)，實(shí)現(xiàn)冬奧期間賽事新聞的實(shí)時(shí)專業(yè)手語(yǔ)翻譯播報(bào)。

隨著2018年《國(guó)家通用手語(yǔ)常用詞表》和《國(guó)家通用盲文方案》作為語(yǔ)言文字規(guī)范正式發(fā)布，為了推廣和普及國(guó)家通用手語(yǔ)，“冬奧手語(yǔ)播報(bào)數(shù)字人”系統(tǒng)完成了《國(guó)家通用手語(yǔ)詞典》收錄的8214條通用手語(yǔ)的采集和錄制，并且語(yǔ)法都以聽障群體習(xí)慣打法為準(zhǔn)，以確保手語(yǔ)播報(bào)成果的準(zhǔn)確性和專業(yè)度，更好地服務(wù)聽障人群。

由于當(dāng)前國(guó)內(nèi)缺少較完善的手語(yǔ)語(yǔ)料數(shù)據(jù)，研發(fā)人員在北京市殘疾人聯(lián)合會(huì)和市殘聯(lián)聾人協(xié)會(huì)的支持下，邀請(qǐng)超過40余位聾人老師及手語(yǔ)專家進(jìn)行手語(yǔ)文本轉(zhuǎn)寫和技術(shù)指導(dǎo)，并進(jìn)行大范圍聽障群體評(píng)測(cè)，最終構(gòu)建了符合國(guó)家通用手語(yǔ)規(guī)范的國(guó)內(nèi)最大規(guī)模多模態(tài)手語(yǔ)語(yǔ)料庫(kù)，詞匯及語(yǔ)句總規(guī)模超10萬。

為構(gòu)建能夠理解、翻譯語(yǔ)音和手語(yǔ)的智能數(shù)字大腦，科研人員以超大規(guī)模預(yù)訓(xùn)練模型為“冬奧手語(yǔ)播報(bào)數(shù)字人”系統(tǒng)的核心技術(shù)，通過語(yǔ)義蒸餾及手語(yǔ)翻譯快編模型，實(shí)現(xiàn)新聞播報(bào)語(yǔ)音實(shí)時(shí)蒸餾成語(yǔ)義高度接近的手語(yǔ)文字，并翻譯成符合手語(yǔ)習(xí)慣的語(yǔ)序。最終，手語(yǔ)數(shù)字腦可以通過計(jì)算機(jī)模仿聽障人士的大腦，進(jìn)行實(shí)時(shí)手語(yǔ)播報(bào)驅(qū)動(dòng)。

研發(fā)團(tuán)隊(duì)還自主搭建多模態(tài)肢體動(dòng)作、表情、手指同步采集系統(tǒng)，實(shí)現(xiàn)高精度、高自然度的人物形象和手語(yǔ)動(dòng)作姿態(tài)。通過采集多模態(tài)動(dòng)作捕捉數(shù)據(jù)，運(yùn)用跨模態(tài)擬人生成算法對(duì)超寫實(shí)數(shù)字人進(jìn)行自然、流暢的實(shí)時(shí)驅(qū)動(dòng)和渲染，實(shí)現(xiàn)對(duì)文本內(nèi)容的實(shí)時(shí)手語(yǔ)播報(bào)。其中，通過肌肉綁定技術(shù)驅(qū)動(dòng)實(shí)現(xiàn)面部采集，結(jié)合業(yè)內(nèi)領(lǐng)先的語(yǔ)音識(shí)別及高清視頻合成等技術(shù)，呈現(xiàn)給聽障人群親切自然的冬奧手語(yǔ)播報(bào)服務(wù)。

張鵬說，手語(yǔ)播報(bào)數(shù)字人的應(yīng)用場(chǎng)景廣泛，一方面可以為新聞媒體提供全流程智能化的數(shù)字人手語(yǔ)生成服務(wù)，方便聽障人士快速了解新聞簡(jiǎn)訊；另一方面可將聲音廣播內(nèi)容轉(zhuǎn)化為手語(yǔ)，為聽障人士播報(bào)冬奧會(huì)賽事賽情、賽場(chǎng)成績(jī)，便于獲取即時(shí)信息。

目前，“冬奧手語(yǔ)播報(bào)數(shù)字人”在北京冬奧會(huì)期間正式投入應(yīng)用，不僅能為聽障人士提供手語(yǔ)信息播報(bào)服務(wù)，降低冬奧運(yùn)營(yíng)成本，還便捷了聽障人士收看賽事專題報(bào)道，提升他們的社會(huì)參與度和幸福感。

此外，“中國(guó)地方手語(yǔ)不統(tǒng)一，手語(yǔ)播報(bào)數(shù)字人的推廣可加速國(guó)家通用手語(yǔ)推廣落地，推動(dòng)國(guó)家通用手語(yǔ)標(biāo)準(zhǔn)普及，為殘疾人平等參與社會(huì)生活創(chuàng)造無障礙環(huán)境，讓科技更有溫度。更重要的是，它體現(xiàn)了北京這座城市對(duì)殘疾人群體的尊重，實(shí)現(xiàn)科技和人文的完美結(jié)合?！睆堸i表示。

（文中圖片均由受訪者提供）

關(guān)鍵詞： 為您 手語(yǔ) 數(shù)字