Language Detection, Identification and Speech Recognition on Code-Switching (Mixed-Language) Speech

本計畫主持人過去數年在國科會及長庚大學之經費支援下，已成功地建立以台語為主之智慧型語音處理環境（包含台語語音資料庫、華台雙語語音辨識以及台語語音合成技術），近年來更頻頻發表有關語言識別、多語言語音辨識相關之論文。以此為基礎，本研究計畫擬以三年時間，針對台灣地區最廣泛使用的三種語言，包括華語(Mandarin)、台語（Taiwanese）以及外來語英語(English) ， 從事不特定人(Speaker Independent) 、多語夾雜之語音(Code-Switching Speech)的語言資料庫蒐集、語言偵測、語言識別以及最終的語音辨識技術之研發。本計畫著重的重點在於以下幾點：1. 從演講、會議交談、以及電視劇的對白中蒐集自然且口語化的多語夾雜之語音。2. 從網路上大量蒐集華語和閩南語語言夾雜的文字資料。3. 進一步將這些自然的多語夾雜之語音和語言資料做成經典的文本。4. 將這經典的文本當作電話語音和麥克風語音的劇本，並建立語言偵測、識別及語音辨識的語音和語言資料庫。5. 整理這批語料庫，並開放給國內產學界使用。6. 發展語言偵測的模型，並建立以偵測為基礎的多語夾雜之語音偵測機，判斷多語夾雜之語音中的語言轉換邊界。7. 加強語言識別之技術，以適合多語夾雜之語音的聲學環境（通常多語夾雜之語音很頻繁且每個語言的持續時間短）8. 建立語音辨識核心程式，並發展發音便異性的模型，使得語者在語言轉換中的發音問題，得以解決。9. 整合語言偵測、識別及語音辨識技術，並加強「強韌型」(Robust)語音辨識之技術。本計畫擬以三年時間並逐年依下列幾個步驟來達成上述研究目標：1. 蒐集自然且口語化的多語夾雜之語音資料庫 (Spontaneous Code-Switching Speech Corpus)（第一年）2. 分析且建立口語化的多語夾雜語音的文字資料庫 (Spontaneous Code-Switching Text Corpus)（第一年）3. 發展語言偵測的模型應用在多語夾雜之語音(Language Boundary Detection on Code-SwitchingSpeech) （第一年）4. 蒐集電話語音和麥克風語音的多語夾雜語音資料庫(Telephone and MicrophoneCode-Switching Speech Corpus) （第二年）5. 多語夾雜之語音、文字資料庫之整理與修正 (Validate the Speech and Text Corpus) （第二年）6. 建立語言識別模型應用在多語夾雜之語音(Language Identification on Code-Switching Speech)（第二年）7. 發展語言辨識技術應用在多語夾雜之語音(Speech Recognition on Code-Switching Speech )（第三年）8. 發展發音變異性模型技術 (Modeling Pronunciation Variations on Speech Recognition) （第三年）9. 整合語言偵測、語言識別及語言識別技術 (Integrating Language Boundary Detection、LanguageIdentification and Speech Recognition) （第三年）。

Project ID:PB9607-2379
External Project ID:NSC96-2221-E182-032-MY3