微軟的人工智能語音生成器在測試中達到與人類同等水平

微軟公司開發了一種新的神經編解碼語言模型 Vall-E,在自然度、語音魯棒性和說話者相似性方面都超越了以前的成果。它是同類產品中第一個在兩個流行基準測試中達到人類同等水平的產品,而且顯然非常逼真,以至于微軟不打算向公眾開放。

VALL-E 2 是神經編解碼器語言模型的最新進展,它標志著零鏡頭文本到語音合成 (TTS) 的里程碑,首次實現了與人類平等。在其前身 VALL-E 所奠定的基礎上,新的迭代版本引入了兩項重大增強功能,以提高其性能: 重復感知采樣(Repetition Aware Sampling)通過考慮解碼歷史中的標記重復,改進了原始的核采樣過程。它不僅能穩定解碼,還能避免在 VALL-E 中遇到的無限循環問題。分組編碼建模將編解碼器編碼組織成組,有效縮短了序列長度,不僅提高了推理速度,還解決了長序列建模的難題。我們在 LibriSpeech 和 VCTK 數據集上進行的實驗表明,VALL-E 2 在語音魯棒性、自然度和說話人相似度方面都超過了以前的零鏡頭 TTS 系統。在這些基準測試中,VALL-E 2 是第一個達到人類同等水平的系統。此外,VALL-E 2 還能始終如一地合成高質量語音,即使是傳統上因句子復雜或短語重復而具有挑戰性的句子也不例外。

在這里插入圖片描述
分組編碼建模不僅能通過減少序列長度來加快推理速度,還能通過緩解長上下文建模問題來提高性能。基于解碼歷史中的標記重復,重復感知采樣增強了解碼過程的穩定性,避免了 VALL-E 中遇到的無限循環問題。

在這里插入圖片描述

VALL-E 2 首次實現了人類平價零鏡頭 TTS 性能。在這種情況下,人類平價表示 VALL-E 2 的魯棒性、自然度和相似度指標都超過了地面實況樣本(WER(GroundTruth) - WER(VALL-E 2) >0,CMOS(VALL-E 2) - CMOS(GroundTruth) >0,SMOS(VALL-E 2) - SMOS(GroundTruth)> 0),這意味著 VALL-E 2 可以生成準確、自然、與原說話人聲音完全一致的語音,其性能可與人類相媲美。值得注意的是,這一結論完全來自 LibriSpeech 和 VCTK 數據集的實驗結果。

感謝大家花時間閱讀我的文章,你們的支持是我不斷前進的動力。期望未來能為大家帶來更多有價值的內容,請多多關注我的動態!

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/web/44405.shtml
繁體地址,請注明出處:http://hk.pswp.cn/web/44405.shtml
英文地址,請注明出處:http://en.pswp.cn/web/44405.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

Node.js 模塊系統

Node.js 模塊系統 Node.js 的模塊系統是其核心特性之一,它允許開發者將代碼組織成可重用的模塊。這種系統促進了代碼的模塊化,使得大型應用程序的構建和管理變得更加容易。本文將深入探討 Node.js 的模塊系統,包括其工作原理、如何創建和使用模塊,以及模塊系統的優勢和局限…

【每日一練】python類和對象現實舉例詳細講解

""" 本節課程目的: 1.掌握類描述現實世界實物思想 2.掌握類和對象的關系 3.理解什么事面向對象 """ #比如設計一個鬧鐘,在這里就新建一個類 class Clock:idNone #鬧鐘的序列號,也就是類的屬性priceNone #鬧…

Git最常用操作速查表

Git常用操作 文章目錄 Git常用操作1. 克隆/拉取2. 分支操作1. 查看分支2. 創建分支3. 切換到分支4. 刪除分支5. 刪除遠程分支6. 推送分支到遠程 3. 暫存庫操作4. Git團隊規范1. 原則2. 分支設計3. commit備注一般規范 1. 克隆/拉取 git clone xxx 從遠程倉庫克隆 git rebase…

【開源之美】:WinMerge Files

一、引言 強大的windows端文件比較工具,跟Beyond Compare相比,更為強大。但是這里我們推薦他的原因,不僅是因為作為一個使用的工具,主要是因為他開源,可以通過調試優秀的源代碼,進一步的提升C項目設計和編…

Alternative to Receptive field in Transformers and what factors impact it

題意:Transformer中感受野的替代概念及其影響因素 問題背景: I have two transformer networks. One with 3 heads per attention and 15 layers in total and second one with 5 heads per layer and 30 layers in total. Given an arbitrary set of d…

什么是數據模型?數據模型與數據治理有什么關系?

在企業數據治理的廣闊領域中,首要且關鍵的一步是明確溝通數據治理的需求。這包括對企業所持有的數據種類、數據存儲位置、以及當前數據管理的具體情況有一個清晰的了解和記錄。了解企業的數據資產是制定有效數據治理策略的基礎。企業需要識別和盤點所有類型的數據資…

AIGC產品經理學習路徑

基礎篇(課時 2 ) AIGC 行業視角 AIGC 的行業發展演進:傳統模型/深度學習/大模型 AIGC 的產品設計演進:AI Embedded / AI Copilot / AI Agen AIGC 的行業產業全景圖 AIGC 的產品應用全景圖 AIGC 職業視角 AI 產品經理/ AIGC…

2974.最小數字游戲

1.題目描述 你有一個下標從 0 開始、長度為 偶數 的整數數組 nums ,同時還有一個空數組 arr 。Alice 和 Bob 決定玩一個游戲,游戲中每一輪 Alice 和 Bob 都會各自執行一次操作。游戲規則如下: 每一輪,Alice 先從 nums 中移除一個 …

Spring MVC 全面指南:從入門到精通的詳細解析

引言: Spring MVC,作為Spring框架的一個重要模塊,為構建Web應用提供了強大的功能和靈活性。無論是初學者還是有一定經驗的開發者,掌握Spring MVC都將顯著提升你的Web開發技能。本文旨在為初學者提供一個全面且易于理解的學習路徑…

數據建設實踐之大數據平臺(五)安裝hive

安裝hive 上傳安裝包到/opt/software目錄并解壓 [bigdata@node101 software]$ tar -zxvf hive-3.1.3-with-spark-3.3.1.tar.gz -C /opt/services [bigdata@node101 services]$ mv apache-hive-3.1.3-bin apache-hive-3.1.3 配置環境變量 export JAVA_HOME=/opt/services…

Debezium系列之:驗證mysql、mariadb等兼容mysql協議數據庫賬號權限

Debezium系列之:驗證mysql、mariadb等兼容mysql協議數據庫賬號權限 一、數據庫需要開啟binlog二、創建賬號和賬號需要賦予的權限三、賬號具有權限查看日志信息四、驗證賬號權限五、驗證賬號能否執行show master status六、驗證數據庫是否開啟binlog一、數據庫需要開啟binlog …

實驗9 存儲過程與函數的創建管理實驗

一、實驗目的: 理解存儲過程和函數的概念。掌握創建存儲過程和函數的方法。掌握執行存儲過程和函數的方法。掌握游標的定義、使用方法。 二、實驗內容 1.某超市的食品管理的數據庫的Food表,Food表的定義如表所示, Food表的定義…

【進階篇-Day8:JAVA中遞歸、異常的介紹】

目錄 1、遞歸的介紹和使用1.1 遞歸的介紹1.2 案例案例一:案例二:案例三:案例四: 1.3 總結 2、異常的介紹和使用2.1 異常的介紹:(1)能夠看懂異常(2)異常的體系接口和分類&…

Go語言map并發安全,互斥鎖和讀寫鎖誰更優?

并發編程是 Go 語言的一大特色,合理地使用鎖對于保證數據一致性和提高程序性能至關重要。 在處理并發控制時,sync.Mutex(互斥鎖)和 sync.RWMutex(讀寫鎖)是兩個常用的工具。理解它們各自的優劣及擅長的場景…

蘋果入局,AI手機或將實現“真智能”?

【潮汐商業評論/原創】 “AI應用智能手機不就是現在的AI手機。” 當被問到現階段對AI手機的看法時,John如是說。“術業有專攻,那么多APP在做AI功能,下載用就是了,也用不著現在換個AI手機啊。” 對于AI手機,或許大多…

上海市計算機學會競賽平臺2023年1月月賽丙組積木染色(二)

題目描述 𝑛n 塊積木排成一排,需要給每塊積木染色,顏色有 𝑚m 種。請問有多少種方法,從第二塊積木開始統計,恰有 𝑝p 塊積木與前一塊積木顏色不同? 輸入格式 三個整數分別表示 &a…

Windows安裝和使用Doccano標注工具

簡介 開源鏈接:GitHub - doccano/doccano: Open source annotation tool for machine learning practitioners. Open source annotation tool for machine learning practitioners. Doccano是一款開源的文本標注工具,由人工智能公司Hironsan開發并在G…

【算法】代碼隨想錄之數組

文章目錄 前言 一、二分查找法(LeetCode--704) 二、移除元素(LeetCode--27) 三、有序數組的平方(LeetCode--977) 四、長度最小的子數組(LeetCode--209) 五、螺旋矩陣II&#x…

花幾千上萬學習Java,真沒必要!(二)

1、注釋: java代碼注釋分3種: 單行注釋://注釋信息 多行注釋: /*注釋信息*/ 文檔注釋:/**注釋信息*/ public class TestComments {// 這是單行注釋,用于注釋單行代碼或解釋代碼功能/* 這是多行注釋,用于注釋多行代碼…

Kotlin runCatching try-catch耗時比較

Kotlin runCatching try-catch耗時比較 fun main(args: Array<String>) {val lists arrayListOf("z")val idx 10/***納秒統計** ns&#xff08;nanosecond&#xff09;&#xff1a;納秒。一秒的10億分之一&#xff0c;10的-9次方秒。*   1納秒0.000001 毫秒…