Meta推語音對語音翻譯技術 說閩南語直接變英文!

合成示意圖/Meta

過去常見語言翻譯系統,多半是建立在有實際語音及對應文字內容,並且透過交叉比對或深度學習方式進行翻譯,而 Meta 稍早宣佈推出全球第一款直接以語音對語音方式進行翻譯的技術,藉此讓原本沒有對應標準書寫文字內容的閩南語,可以直接透過口說方式翻譯成英語,甚至支援雙向翻譯。

閩南語在全球使用人口超過 5,000 萬人,主要分佈在臺灣、中國福建、新加坡、馬來西亞等地,本身並未具備對應文字內容,主要透過口說方式交流、學習,因此若以目前常見的語言翻譯系統運作邏輯來看,閩南語基本上難以被翻譯成其他語言,或是從其他語言翻譯,原因在於沒有足夠文本與聲音內容進行訓練,另一方面也在於可將語言直接翻譯爲閩南語的人相對較少,因此很難建立合適的翻譯模型。

在 Meta 提出設計中,最初會將會將沒有文字的語言念音轉爲數位資料,並且將這些資料以不同語言對應文字進行標示分類,在此次示範閩南語與英語翻譯過程中,便是將閩南語的念音所轉換數位資料以 5 中文作爲中間語言,並且透過機器學習方式進行比對訓練,在後續實際翻譯過程就能順利將閩南語翻譯成英語(亦即將閩南語轉換成中文,再將中文轉換爲英語),同時也能反過來將英語翻譯成閩南語,進而透過數位語音方式念出。

若碰到語音內容無法透過第一道流程完成翻譯,系統就會透過第二道流程嘗試透過其他語言轉譯,最終則可將語音內容翻譯成所需語言。

至於爲了確保翻譯準確度,Meta 也透過 Taiwanese Across Taiwan 建立長達 300 小時長度的臺文語音語料庫,建立第一個閩南語與英語雙向語音翻譯基準資料集,藉此確保翻譯結果正確。

目前 Meta 已經可讓閩南語使用者與英語使用者對話,但現階段仍僅能在每次翻譯單一完整語句,未來預期將會持續讓翻譯成效精進。

而參與此項技術研究、來自臺灣的 Meta 軟體工程師陳鵬仁,便以其 70 歲的父親陳聖獎爲例,雖然閩南語在許多情況下與中文相關,但其實仍有不少差異,因此長年習慣以臺語與人溝通的父親,在必須以中文溝通情況下,往往就會讓說話速度變慢,甚至較難正確表達,因此希望透過人工智慧方式讓父親可以更容易以臺語與他人溝通,甚至能夠轉換成英語。

透過名爲「S2UT」(speech-to-unit translation)的技術,Meta 更宣佈將開放透過名爲 LASER 的自然語言處理工具打造的 SpeechMatrix 大型語音對語音訓練模型,讓其他研究人員可以建立更多無法透過文字內容紀錄的語言,藉此讓更多語言也能便利地透過人工智慧方式翻譯成其他語言,藉此讓不同語言使用者能更輕易溝通,並且打破語言隔閡。

不過,跟其他語言會有口音、不同地區用語差異情況一樣,即便同樣都是閩南語,在臺灣地區說的臺語,跟中國福建、閩南一帶說的閩南語,以及在新加坡、馬來西亞等地區所使用的閩南語多少都會有些不同,因此在後續設計顯然也必須建立更多訓練模型,才能順利對應不同地區的語言互譯。

《原文刊登於合作媒體mashdigi,聯合新聞網獲授權轉載。》