歷時一年半開發 AI氣象手語主播上線【涉己新聞】
AI氣象主播蕎蕎說:「今天以及明天受到東北季風影響。」
AI手語主播上線,每天早上5時10分由系統自動抓取氣象署的最新資料,約1個小時後就會自動產生一段AI手語主播的播報內容,而且幾乎不需要再修改。這個背後是長達一年半公視與工研院團隊的努力。
公視國際策發部研究員王如蘭表示,「我們會從每日的手語、每天播報的語料及中央氣象署氣象預報的文稿先匯入,然後再經過我們公共電視特規的參數,由乙級手語指導聾人老師以及丙級企劃這個錄影團隊的錄影。」
手語指導林亞秀說:「在現場跟聾人一起討論及確認他們所演示的手語,這是要給AI學習的教材,當然是要是準確的,讓AI能學到道地的自然手語。」
將公視每天播報的手語新聞文稿資料、及重新錄製的影像畫面提供給工研院,進行AI翻譯訓練、骨架偵測以及2D生成。
這樣將文稿轉為立體手語呈現的技術台灣才剛起步,方法的探索、手語語料庫的建置通通要重頭開始,每一步都有許多難點要克服。
工研院資通所技術副理呂坤憲表示,「我們跟公視建置了一個台灣的手語手指骨架的資料機,我們也重新用最好的AI模型進行訓練,提升手指的估測準確率到98%以上。我們開發了骨架的自動補禎、平移縮放跟自動剪輯的一些相關技術,來確保我們在glosses(單字)串接起來之後,整個手語動作是順暢而且是穩定自然的。」
有了語料、生成手語骨架,再讓AI套上外形,公視也成立委員會,邀請專業的聾人及聽人委員確認最後生成的手語是否正確。經過了1個月的封閉測試,確保內容是聾人可以清楚看懂。
手語主播蕎蕎12月1日就要在公視早安新聞及手語新聞開始服務觀眾,12月8日也會在台語台及客家台露出。
公視手語新聞主播牛暄文表示,「希望AI訓練完之後,是能打好很自然的手語,以後讓聾人從AI手語的表示中可以很輕易地接收到資訊。」
AI公共服務新里程,落實資訊平權、要作為打造幸福台灣的基石。
