使用 Whisper 將南蒂羅爾方言語音轉錄為標準德語文本的研究

原文：Speech transcription from South Tyrolean Dialect to Standard German with Whisper
本研究展示了首個經過微調的Whisper模型，用于將南蒂羅爾方言語音自動翻譯為標準德語文本。為了滿足字幕和翻譯方面尚未被滿足的需求，我們為此任務引入了一個小型的人工標注和合成語音數據集。通過對模型進行微調和超參數優化，我們的模型實現了86.18的BLEU分數，顯著優于基線錯誤率。研究結果突出了Whisper在處理方言語音方面的有效性，為資源較少語言的研究做出了貢獻。該模型目前已應用于一項文化遺產合作項目，用于大規模翻譯音視頻檔案資料，并正在考慮應用于新聞廣播和旅游推廣。未來的研究方向包括擴展訓練數據以及進一步優化超參數，以提升模型在南蒂羅爾方言變體中的性能和泛化能力。
?索引詞：語音轉文本、翻譯、大語言模型、Whisper、低資源語言、方言、德語

1. 引言

南蒂羅爾方言簡介

• 南蒂羅爾方言是意大利最北部省份南蒂羅爾（Südtirol）使用的語言。
• 它是一種融合了德語和羅曼語（意大利語和拉登語）元素的巴伐利亞方