電視畫面中，主持人侃侃而談，一旁的“AI手語主播”同步出鏡，將包含大量冬季體育運動專業詞匯的語言一一翻譯……這一幕，發生在北京冬奧會期間。在央視新聞冬奧直播特別節目中，“AI手語主播”的出現讓人眼前一亮，受到不少聽障人士的歡迎。
“能將科研成果帶到舉世矚目的冬奧會上，服務于電視機前的聽障觀眾，我們感到十分自豪?！碧旖蚶砉ご髮W聾人工學院副院長袁甜甜告訴記者，“AI手語主播”的背后，隱藏著一個龐大的手語視頻資料庫，過去5年，她帶領學校鯨言創益無障礙智能科技研發團隊克服重重困難，構建起30余萬條的視頻語料庫。如今，他們打造的“復雜場景下中國手語實時翻譯系統”已受到科創領域的不少關注，在未來各種應用場景下，更多聽障人士被“聽”見，正在走向可能。
“為什么一定要把手語翻譯成文字或語言呢？現在語音識別軟件這么多，聽障人不會說，打字給健聽人看不就行了嗎？” 項目啟動之初，不少人曾對這項研究的必要性提出懷疑?！斑@些語音識別軟件，邏輯出發點永遠繞不開健聽人，對聽障人來說，他們更渴望的是自己的‘語言’可以被社會聽見、聽懂。”袁甜甜說。
不久前，天津市急救中心工作人員聞訊找到袁甜甜：“你們的項目能否考慮在急救領域落地，我們太需要了！”在急救工作中，遇到聽障人士是常有的事，生死垂危之際，很少有患者還有意識在手機上打字，而要求醫生和急救人員會手語更不現實。
“要想讓這套系統應用于更多場景，就需要讓語料庫變得更加豐富?！眻F隊成員、聾人工學院網絡工程專業2018級學生王建源的主要工作就是搭建語料庫，“招募會手語的志愿者來錄視頻，反反復復地錄?！蓖踅ㄔ唇榻B。兩年時間里，王建源和伙伴們幾乎每天都會出現在學院三樓實驗室，有時忙到很晚，干脆席地而睡。他們已經收集到30余萬條語料，“經過測算對比，距離中國漢語水平考試的4級水平僅差100多個詞了。”王建源“說”完，一旁的顯示屏上準確顯示出上述文字。
手語是一門視覺語言，有它特定的語法、語序。手勢、表情、肢體動作自由排列組合，表達的是不同的意思?！氨热缯f‘陽光總在風雨后’這句話，手語的語序是‘風/雨/結束/陽光’，讓健聽人看得懂，就要用到計算機算法?！庇嬎銠C學院研一學生孫悅說，在算法模型搭建中，他們漸漸總結出規律，能夠將一段手語中的手勢、表情、肢體動作全部識別到位，“通俗地講，就是我們給計算機編了一套‘教材’?！痹趯O悅看來，這套“教材”正是他們找尋的聽障人溝通外界的那座“橋”。
“這套系統已經涵蓋教育、法律、餐飲、交通等應用場景，在光線充足的環境下，識別率可達95%?！痹鹛鹫f，系統還在飛速升級，“我們目標是100萬條語料，基本覆蓋社會生活的常用場景?！?/p>
“溝通永遠是雙向的，我身邊的這些孩子們不是殘障，他們只是‘不一樣’。我們要做的就是，用科技的力量讓他們被‘聽到’、被‘聽懂’。”袁甜甜說。
