在跨語言TTS系統比較中，中文TTS展現出獨特的復雜性。與許多字母語言中G2P相對直接、詞邊界明確的情況不同，中文具有固有的語言學復雜性。研究材料明確指出中文特有的前端任務，例如“中文分詞與詞性標注” 、“多音字消歧” 和“變調處理” 。這些任務在英文TTS系統中要么復雜度顯著降低，要么完全不存在 。這種根本性差異意味著中文TTS的初始語言學處理階段本質上更具挑戰性，需要高度專業化的組件和復雜的算法。最終合成語音的準確性和自然度，在很大程度上取決于這些前端語言學歧義的成功解決，使其成為影響中文TTS整體質量的關鍵瓶頸。

中文TTS系統基本架構

典型的TTS系統傳統上由兩大核心部分構成：自然語言處理（NLP），通常被稱為“前端”，以及數字信號處理（DSP），即“后端” 。

• 前端（文本分析/NLP）：這一關鍵模塊負責處理輸入文本，并將其轉換為一套豐富的語言學特征。這些特征至關重要，因為它們直接決定了合成語音的準確發音和韻律自然度 。前端的常見任務包括：

  • 文本歸一化：將非標準文本元素（如數字、縮寫、符號）轉換為適合語音合成的標準可發音形式 。
  • 中文分詞與詞性標注：鑒于中文的粘著語特性和缺乏顯式詞界符，這一步驟至關重要。它將連續的漢字流分割成獨立的詞語或有意義的單元，并為每個詞語分配詞性標簽（如名詞、動詞） 。這一過程是準確語言學解釋的基礎。
  • 字形到音素轉換（G2P）：此組件將書面漢字（字形）轉換為其對應的語音單元（音素） 。
  • 多音字消歧：這是中文G2P中一個尤為關鍵且復雜的挑戰。許多漢字具有多種發音（多音字），其正確發音完全取決于周圍的語義和句法上下文。此任務旨在確定此類字符的適當發音 。
  • 韻律預測：這涉及根據文本的上下文、句法和語義的深入分析，預測每個詞語或音素的超音段特征，如節奏、重音和語調 。對于中文而言，這通常需要識別分層韻律結構，包括韻律詞（PW）、小短語（MIP）和大短語（MAP） 。
  • 變調處理：作為漢語等聲調語言的獨特之處，此過程根據相鄰聲調的影響調整字符的基調，以確保連續語音中的發音自然且符合語法 。

• 后端（聲學模型/DSP）：后端模塊接收前端生成的語言學特征和韻律信息，并將其轉換為聲學特征。隨后，這些聲學特征被用于合成最終的語音波形 。歷史上，這一階段涉及波形表和PSOLA（基于基頻同步疊加）等技術進行語音合成 。現代端到端模型通常集成了編碼器、解碼器和注意力機制。編碼器將輸入文本或語言特征轉換為隱藏表示，解碼器則從這些表示中生成聲學特征或直接生成語音波形 。

表1：中文TTS系統核心組件及其功能

組件名稱	功能描述	對TTS質量的影響
文本歸一化	將非標準文本（數字、縮寫、符號等）轉換為標準形式。	確保所有文本元素都能被正確發音，提高可懂度。
中文分詞與詞性標注	將連續的漢字序列分割成有意義的詞語，并標注其詞性。	為后續的G2P、韻律預測提供準確的語言學單元和上下文信息，影響發音準確性和韻律自然度。
字形到音素轉換（G2P）	將書面漢字轉換為對應的音素序列。	確保基礎發音的正確性，是語音合成的基礎。
多音字消歧	根據上下文確定多音字的正確發音。	直接影響發音準確性和語義可懂度，是中文特有的關鍵挑戰。
變調處理	根據聲調規則調整相鄰漢字的基調。	確保聲調的自然流暢過渡，避免生硬或錯誤的聲調表現。
韻律預測	預測語音的節奏、重音、語調和停頓。	決定合成語音的自然度、表現力和情感色彩，影響聽感流暢性。
聲學模型	將語言學特征和韻律信息轉換為聲學特征（如梅爾頻譜）。	影響合成語音的音質、清晰度和自然度，是語音生成的核心。
聲碼器	將聲學特征轉換為可聽的語音波形。	影響最終語音的保真度、音色質量和聽感舒適度。

中文TTS常見問題深度剖析與解決方案

在上一篇中介紹了漏字和重復的問題，此外還有如下問題：

音色跳變

成因分析

音色跳變，即合成語音在音色上出現不一致或不連貫的現象（這可能存在于音素/字/詞/短語），主要由以下因素導致：

• 數據不匹配與數據量不足：在說話人適應任務中（即模型根據有限樣本學習新聲音），高質量參考語音的稀缺是導致音色不一致的主要原因。這種數據限制常常導致模型過擬合，使其難以在不同文本上穩健地泛化并保持音色一致性 。
• 特征解耦不足：許多傳統TTS模型難以將說話人的音色（聲音身份）與其他語音屬性（如韻律、語調）或語言內容清晰地分離。如果這些特征相互糾纏，韻律或文本輸入的任何變化都可能無意中改變感知到的音色，從而導致不希望出現的“音色跳變”或不一致 。
• 模型局限性：早期的自回歸（AR）模型在語音克隆中通常需要語音樣本及其精確轉錄作為提示。提示與目標文本之間的語義或語言學不匹配可能導致次優的合成質量，包括音色不一致 。
• 方言文本輸入不匹配：中文TTS面臨的一個特殊挑戰是，當用戶將普通話文本輸入到為特定中文方言設計的TTS系統時。這種訓練數據（方言特定）與推理輸入（普通話）之間的不匹配會顯著降低合成語音的自然度，包括其音色的一致性 。

解決方案

為解決音色跳變問題，業界研究人員和開發者提出了多種先進方案：

• 先進的說話人表征學習：例如，敏捷說話人表征強化學習（ASRRL）等技術正在開發中，旨在增強說話人適應任務中的說話人相似性，從而實現更一致的音色 。
• 可學習說話人編碼器：MiniMax-Speech等前沿模型集成了可學習的說話人編碼器。這些編碼器旨在直接從參考音頻中提取魯棒的音色特征，而無需其轉錄。這項創新使得高保真零樣本語音克隆具有卓越的音色一致性，并固有地支持跨語言和多語言合成，有效規避了文本-語音不匹配引起的問題 。
• 表征解耦技術：這是一個活躍的研究領域，專注于分解TTS系統內的元素，以實現對各種語音特征的更精細控制。例如：
  • Daft-Exprt利用FiLM條件層注入韻律信息，同時采用對抗訓練策略實現說話人-韻律解耦 。
  • Ellinas等人提出的方法利用對抗性說話人分類器實現音素-說話人解耦，確保音色獨立于音素變化 。
  • TN-VQTTS（音色歸一化矢量量化TTS）利用音色歸一化聲學特征實現風格-音色解耦，在有限訓練數據下尤其有效 。
• 模型微調與遷移學習：盡管微調TTS模型以復制特定說話人的聲音是有效的 ，但必須謹慎管理，以防止過擬合，尤其是在參考語音數據有限的情況下。
• 數據增強與魯棒訓練：數據增強和魯棒訓練方法等通用策略 間接但顯著地有助于提高音色一致性，通過使模型接觸更廣泛的語音條件并降低對輸入變化的敏感性。

音色控制的演變，從基本的微調到敏捷說話人表征強化學習 、可學習說話人編碼器 和各種解耦方法 等復雜技術，標志著一個深刻的轉變。實現無需轉錄即可提取音色特征（零樣本語音克隆 ），以及將音色與韻律或風格明確分離（表征解耦 ）的能力，表明研究人員正在超越單純的語音適應，轉而從根本上理解和操縱定義音色的底層聲學特征。這代表了更深層次的控制和靈活性，對于在各種應用中實現真正自然和可定制的語音合成至關重要。

聲調與重讀錯誤

成因分析

聲調和重讀錯誤在中文TTS中是常見的挑戰，其成因復雜：

• 中文韻律的復雜性：中文是聲調語言，這意味著音節的音高輪廓直接影響其語義。普通話有四個主要聲調，需要高度準確的聲調合成才能保證可懂度和自然度 。
• 多音字消歧問題：聲調錯誤的一個重要來源是多音字發音預測不準確。如果一個字的上下文相關發音被錯誤識別，其關聯的聲調也會出錯，嚴重影響聽者的理解 。
• 上下文建模不足：漢字的正確聲調和重音深受其相鄰字以及句子更廣泛的語義和句法上下文的影響 。盡管自注意力機制在捕捉全局上下文方面有效，但有時會忽略決定普通話精確發音的關鍵局部依賴關系 。
• 缺乏細粒度韻律控制：傳統TTS系統通常只提供高層次的、基于描述的韻律指導，這不足以實現對單個詞語或音節的音高和能量輪廓進行精確控制，從而導致不自然的或錯位的重音 。
• 訓練數據限制：在有限或標注不足的數據上訓練的模型，可能難以學習準確多音字消歧和細致韻律特征預測所需的復雜語義信息 。

業界解決方案

為解決聲調和重讀錯誤，業界采取了多方面的策略：

• 增強的文本分析與語言特征提取：
  • 多音字消歧：現代方法利用深度神經網絡（DNN），包括雙向長短期記憶（BLSTM）網絡，編碼來自相鄰字和詞性（POS）標簽的上下文信息 。更先進的端到端框架利用像BERT這樣的預訓練大型語言模型，直接從原始漢字序列中提取強大的語義特征，顯著提高了多音字消歧的準確性，無需大量預處理 。詞性標注也為此任務提供了關鍵支持 。
  • 短語結構解析：將短語結構解析器模塊嵌入到聲學模型中，例如AMNet，有助于明確捕捉句子結構信息。這豐富了語言輸入，并增強了模型對局部依賴關系的敏感性，這對于準確的聲調和重音預測至關重要 。
• 解耦的聲調建模：AMNet等創新模型明確地將聲調特征與音素解耦。這為聲調建模提供了直接、明確的指導，從而提高了聲調準確性和整體發音質量 。這代表了在將聲調簡單地視為音素固有部分的傳統方法上的進步 。
  細粒度韻律控制：
  • 韻律草圖：一種新穎且高度直觀的控制信號，韻律草圖允許用戶“繪制”或勾勒出特定詞語或短語所需的音高和能量輪廓趨勢。DrawSpeech是一種基于擴散的生成模型，利用這些草圖恢復詳細的韻律輪廓，并合成具有精確、用戶友好控制的語音 。
  • 參考語音韻律遷移：另一種常見方法是使用參考語音樣本作為“韻律提示”。TTS模型隨后學習將此參考的韻律模式（例如語調、節奏、語速）復制到目標文本上 。例如，StyleTTS從參考中提取“風格向量”，并使用韻律預測器指導音高和能量生成 。
  • 統計與決策樹模型：較早但仍相關的系統，如富士通普通話TTS系統，采用基于決策樹的時長建模方法和統計音高輪廓預測方法，這些方法依賴于自動識別的分層韻律成分來生成韻律 。
• 學習聲調協同發音：正在進行的研究評估了TTS模型學習普通話聲調協同發音的能力，展示了即使從粗略標注的數據中也能生成高質量語音的潛力 。

中文TTS中聲調和重音錯誤的歷史解決路徑清晰地展示了一個演進過程。早期系統嚴重依賴人工總結的語言學規則進行多音字消歧 ，但這些規則固有的僵硬性和產生沖突規則的傾向限制了其效果。深度神經網絡（DNN）的出現標志著一個重大轉變，使模型能夠從數據中學習復雜的模式 。隨后，將BERT等先進的預訓練語言模型 整合到語義上下文中，進一步推動了邊界，實現了更準確、數據驅動的消歧，而無需大量人工預處理。同時，韻律控制也從寬泛的“基于描述的指導” 發展到高度精細、用戶交互式的方法，如“韻律草圖” 和明確的聲調解耦 。這種全面的演進表明TTS已經從僅僅生成可懂語音發展到能夠產生高度自然、富有表現力且可由用戶定制的輸出，直接應對并緩解了中文聲調和韻律結構的核心復雜性。

漏讀與斷句錯誤

成因分析

漏讀（遺漏部分文本）和斷句錯誤（不自然的停頓）是TTS系統中常見的缺陷，主要源于以下幾個方面：

• 文本理解不足：漏讀和不正確的停頓通常源于TTS系統對輸入文本的深層語義和句法理解不足 。如果模型未能充分理解文本的含義或語法結構，它可能會錯誤地解釋句子或短語邊界，導致不自然的停頓，甚至無意中遺漏被模型認為“不重要”的詞語或短語。
• 韻律預測不準確：停頓是自然韻律的基本組成部分 。韻律預測模塊中的錯誤，尤其是在準確識別分層韻律單元邊界（如韻律詞、小短語、大短語和語調群）方面 ，會直接導致不自然或語法錯誤的停頓。
• “一對多”映射問題：TTS中固有的這一挑戰指的是，單個文本序列可以被實現為多種有效的語音表達，表現出時長、節奏和語調的變化 。如果TTS模型難以解決這種歧義并選擇最合適的實現方式，它可能會產生不一致或錯誤的片段時長，導致感知到的漏讀或笨拙、錯位的停頓。
• 長文本合成挑戰：生成擴展的、多說話人的、自發性對話（例如播客或有聲讀物）在保持整體連貫性、自然度和長時間的韻律一致性方面帶來了顯著挑戰。這通常表現為不自然的停頓、截斷的句子或缺乏流暢的對話流 。歷史上，許多早期工作僅限于合成短對話，通常在90秒以內 。
• 復雜場景數據不足：即使是現代零樣本TTS系統，盡管經過大量預訓練，但在處理高度復雜的語言場景時仍可能遇到困難。這些場景包括繞口令、重復詞、語碼轉換（混合語言）和跨語言合成，這些情況下可能會出現可懂度問題，通常表現為漏讀或發音錯誤 。

業界解決方案

為解決漏讀和斷句錯誤，業界采取了以下主要解決方案：

• 高級文本分析與韻律建模：
  • 分層韻律結構預測：先進系統明確識別分層韻律單元邊界（例如停頓、音高變化、邊界音節的時長變化），為韻律生成模型提供精確指導 。結合動態規劃和語言學規則的統計方法在預測中文韻律結構方面表現出高準確率（例如91.2%的準確率） 。
  • 可微分時長模塊：微軟的NaturalSpeech模型引入了一個完全可微分的時長模塊。這項創新顯著改善了音素時長建模，并有助于減少TTS系統中訓練和推理階段常見的失配 。類似地，FastSpeech系列模型利用顯式時長預測器來控制語音時間 。
  • 語言信息整合：整合短語結構解析器和局部卷積模塊（如AMNet所示）等模塊，增強了模型對局部語言信息的敏感性。這豐富了輸入序列，從而改進了對上下文關系的建模，這對于生成流暢且自然停頓的語音至關重要 。
• 魯棒的端到端模型：雖然端到端模型能夠生成更自然的語音，特別是對于較長的句子，但其訓練需要大量的計算資源和大量標注數據 。為應對長文本、多說話人、自發性對話的挑戰，MoonCast等解決方案應運而生。MoonCast專為高質量零樣本播客生成設計，采用特定的長音頻生成方法，在自發性和連貫性方面表現出顯著優于基線模型的改進 。
• 偏好對齊技術：為減輕復雜語言場景（如繞口令、重復詞）中的可懂度問題（包括漏讀），正在利用偏好對齊技術。這涉及構建有針對性的、超出預訓練分布的數據，以增強模型在這些困難情況下的性能 。
• 大型語言模型與語音編解碼技術：大型語言模型（LLMs）和語音編解碼技術的最新重大進展顯著提升了TTS性能，尤其是在對話中生成更具自發性和連貫性的內容方面 。

早期TTS系統在自然停頓和避免漏讀方面常常力不從心，因為它們對語音時長的理解和控制相對粗糙或隱式。向“分層韻律結構” 的明確建模以及“可微分時長模塊” 的發展，代表了TTS技術的一個重大進步。這些技術能夠對停頓的時間和位置進行精細的、語言學上知情的控制，直接解決了不自然停頓和感知漏讀的根本原因。此外，專門為“長文本、多說話人、自發性對話”開發的MoonCast等系統 的出現，標志著TTS超越了孤立句子的合成，開始處理復雜的真實世界對話流。在這種背景下，準確的停頓、節奏以及文本的完整呈現，對于實現真正的自然度和連貫性至關重要。這表明先進NLP對語篇結構的理解與復雜的聲學建模之間實現了更深層次的融合。

表2：中文TTS常見問題、成因及解決方案概覽

問題類型	主要成因	業界解決方案	相關技術/模型示例
音色跳變	數據不匹配/不足；特征解耦不足；模型局限性；方言文本輸入不匹配。	先進說話人表征學習；可學習說話人編碼器；表征解耦技術；模型微調與遷移學習；數據增強與魯棒訓練。	ASRRL, MiniMax-Speech, Daft-Exprt, TN-VQTTS
聲調與重讀錯誤	中文韻律復雜性；多音字消歧問題；上下文建模不足；缺乏細粒度韻律控制；訓練數據限制。	增強文本分析與語言特征提取（多音字消歧、短語結構解析）；解耦聲調建模；細粒度韻律控制（韻律草圖、參考語音韻律遷移）；學習聲調協同發音。	BERT, AMNet, DrawSpeech, StyleTTS
漏讀與斷句錯誤	文本理解不足；韻律預測不準確；“一對多”映射問題；長文本合成挑戰；復雜場景數據不足。	高級文本分析與韻律建模（分層韻律結構預測、可微分時長模塊、語言信息整合）；魯棒端到端模型；偏好對齊技術；大型語言模型與語音編解碼技術。	MoonCast, FastSpeech, NaturalSpeech