最像人聲的語音合成模型-ChatTTS

目錄

寫在前面

一、使用ChatTTS

二、優點

三、局限


寫在前面

????????最像人聲的AI來了!語音開源天花板ChatTTS火速出圈,3天就斬獲9k個star。截至發稿前,已經25.9k個star了。這是專門為對話場景設計的語音生成模型,用于LLM助手對話任務、對話語音、視頻介紹等,僅支持中英文。硬件要求低,甚至不需要GPU,一臺普通PC就能運行。

????????主模型使用了 100,000+ 小時的中文和英文音頻數據進行訓練。開源的版本是4 萬小時基礎模型。

? ? ? ? 項目地址:https://github.com/jianchang512/ChatTTS-ui,這是原項目ChatTTS的地址,不用下,我們要使用的是ChatTTS-ui,是給ChatTTS增加了UI,并打好了包,開包即用。

一、使用ChatTTS

? ? ? ? 廢話不多少,先玩起來。

????????1.下載ChatTTS-ui:https://github.com/jianchang512/chatTTS-ui/releases

????????2.解壓縮并運行app.exe

????????3.等一會會自動打開默認瀏覽器,就可以開始生成音頻啦!!

????????? ? ? ?????????

????????使用也很簡單,輸入文字點擊立即合成,等待一會下方就會出現結果,下面介紹一下參數:

? ? ? ? (1)文本:如果哪里斷句不好,可以加一個[break_1];如果想調整口語程度可以加[oral_0],數字越大,越口語化;如果想加笑聲可以加[laugh_1],但經我測試,加了laugh廢話變多了。

????????(2)選擇音色:一共10000個音色,每個音色有一個csv的特征文件,這里下載全部10000個音色。

? ? ? ? (3)音色值:如果懶得下載10000個音色文件,也可以在這里輸入1-10000的數字,值得注意的是,一旦這里輸入,前面的csv就沒用了。音色試聽在這里。

? ? ? ? (4)text seed:擴散模型嘛,肯定要有一個控制噪聲的隨機種子。

? ? ? ? (5)Prompt:現在支持三個值,是全局的,oral控制口語程度數字越大,越口語化,例如[oral_0]就接近朗讀的口氣;langh會使說話過程中插入笑聲,經我測試數越大,與文本無關的廢話越多;break控制斷句,數越大,斷句越干脆。

? ? ? ? (6)跳過refine text:如果正文中加入了[uv_break]二效果不好,可以勾上試試。

? ? ? ? (7)infer token:推理最大token數,默認就行。

? ? ? ? (8)refine token:預處理的時候,會對文本進行優化,使之更適合口語,這個是調整的token數量,也不用動。

? ? ? ? (9)語速:數越大,語速越快,但是變化并不是太明顯。

? ? ? ? ? (10)temperature:數越大語氣、音色、聲調等隨機性越大。

? ? ? ? (11)top_p:控制生成多樣性的參數,數越小,多樣性越強。比如0.3,那下一個預測token的概率只要大于0.3就有可能被選中,當然也要配合下面的top_k使用。

? ? ? ? (12)top_k:同樣控制生成多樣性的參數,數越大,多樣性越強。比如9,那下一個預測token的會選前9個概率最大的,當然也要配合上面的top_p使用。

二、優點

????????1.ChatTTS針對基于對話的任務進行了優化,實現了自然而富有表現力的語音合成,很接近人聲。

????????2.模型可以加入韻律特征,包括笑聲、停頓和嘆詞。

????????3.硬件要求低,雖然是擴散模型,但是在CPU上也能流暢使用

三、局限

????????1.音色文件的提取方式作者沒有開源,所以現在不能定制自己的聲音。

????????2.使用擴散模型,仍然需要抽卡,尤其對于長文本,不好控制,商用會有問題。

????????ChatTTS的使用就簡單介紹到這里,關注不迷路(*^▽^*)

關注訂閱號了解更多精品文章

交流探討、商務合作請加微信

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/diannao/36308.shtml
繁體地址,請注明出處:http://hk.pswp.cn/diannao/36308.shtml
英文地址,請注明出處:http://en.pswp.cn/diannao/36308.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

SUSE linux的啟動過程介紹

引導Linux系統涉及不同的組件和任務。在固件和硬件初始化過程(取決于機器的架構)之后,內核通過引導加載程序GRUB2啟動。此后,引導過程完全由操作系統控制并由systemd處理。systemd提供了一組“target”,用于為日常使用…

微信開放平臺(第三方平臺)

特征: 統一管理: 可以統一管理和操作多個公眾號和小程序,提供批量化、集中化的服務。 代開發和運營: 為公眾號和小程序提供代開發和運營服務,例如提供自動回復、模板消息、用戶管理等功能。 接口調用: 通過…

基于深度學習的模糊圖像還原

基于深度學習的模糊圖像還原 模糊圖像還原(Image Deblurring)是計算機視覺中的一個重要任務,旨在從模糊的圖像中恢復出清晰的圖像。模糊可以由于多種原因產生,例如相機抖動、運動模糊、焦點失準等。傳統的圖像去模糊方法通常依賴…

搭建抖音微短劇系統:源碼部署與巨量廣告回傳全解析

在數字化浪潮中,抖音微短劇已成為內容創作的新寵。想要搭建一個高效的抖音微短劇系統,并實現與巨量廣告的有效回傳嗎?本文將為您詳細解析源碼部署與廣告回傳的關鍵步驟。 一、源碼部署:構建短劇系統的基石 源碼是軟件開發的起點…

vscode遠程連接Ubantu

一、首先用VM虛擬機打開一個Linux系統 二、打開VScode 在擴展里安裝 安裝后,打開Linux查看IP地址 在VScode 中新建連接主機 輸入linux_nameip地址 -A 然后輸入Linux的登錄密碼 就可以遠程操控 Linux了 可以在終端中遠程控制Linux 點擊左上角的打開文件夾可以很…

什么是 Azure OpenAI?

目錄 一、說明 二、什么是 Azure OpenAI 2.1 網絡結構 2.2 、為什么使用 Azure OpenAI 2.3 如何使用 Azure OpenAI 三、從哪里開始 Azure OpenAI 之旅 3.1 關于 Azure OpenAI,我還需要了解什么 3.2 RBAC 權限和角色 3.3 演示 1:在公共數據上應用…

【面試題】網絡 http、https協議(第一篇)

1.簡述HTTP協議 HTTP,全名超文本傳輸協議,是一個用于客戶端與服務器之間進行數據傳輸的應用層協議,可以傳輸文本、圖片、音視頻等超文本內容。 1.HTTP使用TCP作為傳輸層協議,因此具有可靠性, 2.除此之外&#xff0c…

聚合項目學習

首先建立一個總的工程目錄,里邊后期會有我們的父工程、基礎工程(繼承父工程)、業務工程(依賴基礎工程)等模塊 1、在總工程目錄中(open一個空的文件夾),首先建立一個父工程模塊(通過spring init…

4面體空間內直鏈4點結構分布與占比

在30個點的4面體空間內取4個點,有30*29*28*27/2427405種取法,要求得到的4個點必須在直鏈上。只有144個結構符合要求,在平移操作下不重合的結構有36個。 這36個結構可以按照旋轉對稱性進一步分成3組0,1,4,每…

Anisble Playbook

文章目錄 一、Playbook簡介三種常見的數據格式Playbook特點YAML語言介紹 二、Playbook核心組件host組件remote_user組件task列表和action組件gather_factsHandlers notifyignore_errors 三、playbook命令playbook命令tags 標簽 四、Playbook中的變量setup模塊中的變量Playbook命…

vue3 【提效】自動路由(含自定義路由) unplugin-vue-router 實用教程

不再需要為每一個路由編寫冗長的 routes 配置啦,新建文件便可自動生成路由! 使用方法 1. 安裝 unplugin-vue-router npm i -D unplugin-vue-router2. 修改 vite 配置 vite.config.ts import VueRouter from unplugin-vue-router/viteplugins 中加入 V…

消費疲軟,預期一下債券的平均收益

在預測消費疲軟對債券平均收益的影響時,我們需要考慮多個因素,包括宏觀經濟環境、貨幣政策、通脹預期以及債券市場的具體表現等。以下是對債券平均收益的預期分析: 宏觀經濟環境與貨幣政策: 當前中國經濟增速已轉向高質量發展階段…

【Redis一】Redis配置與優化

目錄 一.關系型數據庫與非關系型數據庫 1.關系型數據庫 2.非關系型數據庫 3.二者區別 4.非關系型數據庫產生背景 5.NoSQL與SQL數據記錄對比 關系型數據庫 非關系型數據庫 二.Redis相關概述 1.簡介 2.五大數據類型 3.優缺點 3.1.優點 3.2.缺點 4.使用場景 5.采用…

蘋果應用Testflight上架完整步聚

1.全部選中下圖內容,包含iPhone與iPad屏幕所有旋轉方向 2. 準備App圖標,一定要有152和167這個尺寸,不然后提交不過 3.1024這個尺寸的的圖像不能有透明層,不然提交不通過 4.選中編譯設備為Any iOS Device[arm64] 5.選擇Product下的Archive進行生成 6.在彈出的窗口中選擇Test…

Python之三大基本庫——Numpy(2)

接著上次的內容接著講,連續號都續上哈 七、numpu中random的隨機生成函數 以下總結的是比較常用到的函數: 下面分別介紹一下不用的用法: 首先導入創建函數 import numpy as np np.random.seed(666)1、 rand(d0,d1,d2,...,dn):返…

JavaWeb系列三: JavaScript學習 下

文章目錄 js數組定義方式數組遍歷 js函數函數入門函數使用方式使用方式一使用方式二 函數注意事項函數練習題 定義對象使用object定義使用{}定義 事件onload事件onclick事件失去焦點事件內容發生改變事件表單提交事件靜態注冊動態注冊表單作業 dom對象文檔對象模型document對象…

JDK-調度線程池

歸檔 GitHub: JDK-調度線程池 使用示例 https://github.com/zengxf/small-frame-demo/blob/master/jdk-demo/simple-demo/src/main/java/test/jdkapi/juc/thread_pool/TestSchedule.java JDK 版本 openjdk version "17" 2021-09-14 OpenJDK Runtime Environment…

邊緣計算VNC智能盒子如何助力HMI設備實現二次開發?

HMI(Human-Machine Interface)又稱人機界面,是用戶與機器之間交互和通信的媒介。今天帶你了解智能盒子如何助力HMI設備實現二次開發? HMI設備被廣泛應用在工業自動化中,具有顯示設備信息,實時監測&#xf…

python爬蟲--scrapy框架

Scrapy 一 介紹 Scrapy簡介 1.Scrapy是用純Python實現一個為了爬取網站數據、提取結構性數據而編寫的應用框架,用途非常廣泛2.框架的力量,用戶只需要定制開發幾個模塊就可以輕松的實現一個爬蟲,用來抓取網頁內容以及各種圖片,非…

GPT-5對普通人有何影響

這篇文章對ChatGPT的使用方法和提問技巧進行了討論,重點強調了背景信息和具體提問的重要性。文章清晰地傳達了如何提高ChatGPT回答的質量,以及個人在使用ChatGPT時的體會和建議。然而,文章在邏輯組織和表達方面還有一些可以改進的地方&#x…