AI數字人| Fay開源項目、UE5數字人、本地大模型

數字人實踐教程

本教程主要是講如何在本地UE部署Fay數字人的開源框架。

最終效果可以與人進行自然語言的對話,花了大概10個h的時間到,踩了很多坑,同樣想實現的朋友可以作為參考
參考文檔:Fay 數字人開源框架 - 飛書云文檔
官方的教程已經講的相對詳細了,我在官方教程的基礎上補充幾點。

在這里插入圖片描述

主流程

一、環境安裝

1、下載安裝 python 3.12

訪問: https://www.python.org/downloads/release

2、安裝 python 3.12

這里必須是python3.12,我試過python3.13會遇見很多錯誤,如果你有能力解決就當我沒說~~

3、下載 Visual Studio 2019 Installer(windows)

下載地址:https://learn.microsoft.com/zh-cn/visualstudio/releases/2019/release-notes

在這里插入圖片描述

4、Visual Studio 2019 安裝(windows)

在這里插入圖片描述

二、工程下載

1、工程下載

在這里插入圖片描述

2、解壓到當前目錄

在這里插入圖片描述

3、安裝運行依賴庫

在安裝依賴庫之前需要把倉庫中的gevent改成23.9.1或23.10.1,不然會出現依賴報錯。(截止今天25.3.7)版本

在這里插入圖片描述

選中導行欄輸入“cmd”回車,在命令提示符窗口輸入”pip install -r requirements.txt”回車,等待安裝完成

在這里插入圖片描述

4、 安裝啟動funasr

1、進入Fay/asr/funasr代碼目錄

在這里插入圖片描述

2、安裝依賴

在終端或cmd中分別執行以下命令
pip install torch
pip install modelscope
pip install testresources
pip install websockets
pip install torchaudio
pip install FunASR

3、終端或cmd啟動funasr服務端(保持啟動)

python -u ASR_server.py --host "0.0.0.0" --port 10197 --ngpu 0 

在這里插入圖片描述

三、控制器運行

在啟動Fay之前需要配置一些東西:

1. 阿里元的服務秘鑰

選擇開通并購買,前3個月免費智能語音交互_語音識別系統_自然語言處理-阿里云

在這里插入圖片描述

在這里插入圖片描述

選擇試用立即開通

點擊全部項目

在這里插入圖片描述

在這里插入圖片描述

復制項目功能配置后面的appKey很重要,之后要填入配置文件。

在這里插入圖片描述

然后點擊后面的在這里插入圖片描述

點擊我以及知曉,然后使用云賬號

在這里插入圖片描述

接下來創建key,通過手機號驗證

在這里插入圖片描述

讓后就是復制AccessKeyID以及AccessKey Secret里面的字符串。

在這里插入圖片描述

找到項目中的system.conf文件,然后填入剛剛我們申請的ID,Key和secret。

在這里插入圖片描述

2.本地大模型下載

打開ollama官網:Ollama Search,先傻瓜式安裝軟件。

然后選擇模型

在這里插入圖片描述

在這里插入圖片描述

在本地啟動命令行,并在命令行輸入命令

ollama run deepseek-r1:1.5b

在這里插入圖片描述

3.啟動Fay

1)、進入Fay根代碼目錄

在這里插入圖片描述

2)、運行命令

在終端或者cmd運行命令并回車
python main.py

在這里插入圖片描述

3)、訪問管理

瀏覽器訪問 http://127.0.0.1:5000

在這里插入圖片描述

四、接入虛幻

寫到這沒啥時間了,把上面完成之后基本打開虛幻運行就可以了。下次有時間在把虛幻的補上~~

虛幻就主要是插件不好找以及插件收費的問題了。

github源碼倉庫:https://github.com/xszyou/Fay
UE5工程請git倉庫里面找,里面有他們的百度網盤鏈接。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/897299.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/897299.shtml
英文地址,請注明出處:http://en.pswp.cn/news/897299.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

網絡版漢譯英服務(muduo)

文章目錄 網絡版漢譯英服務(muduo)muduo庫muduo 庫是什么muduo 庫常見接口介紹muduo::net::EventLoopmuduo::net::TcpConnectionmuduo::net::TcpServermuduo::net::TcpClientmuduo::net::Buffer 漢譯英服務服務端客戶端 網絡版漢譯英服務(mud…

在ArcMap中通過Python編寫自定義工具(Python Toolbox)實現點轉線工具

文章目錄 一、需求二、實現過程2.1、創建Python工具箱(.pyt)2.2、使用catalog測試代碼2.3、在ArcMap中使用工具 三、測試 一、需求 通過插件的形式將點轉線功能嵌入ArcMap界面,如何從零開始創建一個插件,包括按鈕的添加、工具的實…

C++之序列容器(vector,list,dueqe)

1.大體對比 在軟件開發的漫長歷程中,數據結構與算法始終占據著核心地位,猶如大廈的基石,穩固支撐著整個程序的運行。在眾多編程語言中,數據的存儲與管理方式各有千秋,而 C 憑借其豐富且強大的工具集脫穎而出&#xff…

【學習筆記】【DeepSeek AI 醫生】2-2 AI家庭醫生課程內容介紹

【DeepSeek AI 醫生】2-4 項目詳細分析及DeepSeek適用場景 一、Ollama部署二、可視化UI三、構建項目環境四、搭建項目架構五、Spring Al六、SSE服務端推送事件七、數據持久化八、線上部署 一、Ollama部署 Mac部署windows 部署ollama腳本、常用命令DeepSeek 提示詞、角色、適用…

STM32 I2C驅動開發全解析:從理論到實戰 | 零基礎入門STM32第五十步

主題內容教學目的/擴展視頻I2C總線電路原理,跳線設置,I2C協議分析。驅動程序與調用。熟悉I2C總線協議,熟練調用。 師從洋桃電子,杜洋老師 📑文章目錄 引言一、I2C驅動分層架構二、I2C總線驅動代碼精析2.1 初始化配置&a…

Vercel Serverless

1. 引言 現代應用程序是為適應當前技術環境需求而設計的軟件,采用現代開發工具和實踐,針對云部署和可擴展性優化。它們由多個模塊化小組件組成,便于集成和縮放,具有高度的敏捷性和適應性,能快速響應用戶或業務需求變化…

國產操作系統之系統分區及分區的作用

國產操作系統之系統分區及分區的作用和掛載 Linux的系統分區跟Windows有著本質區別,在windows中大家知道c盤一般為系統盤,除c盤系統盤外,我們再分為D、E等文件存儲盤,而在Linux中雖然是以文件目錄著稱的系統,但思路也一樣的,比如針對系統分區中 /home、/var 和 /opt 等文…

字節碼是由什么組成的?

Java字節碼是Java程序編譯后的中間產物,它是一種二進制格式的代碼,可以在Java虛擬機(JVM)上運行。理解字節碼的組成有助于我們更好地理解Java程序的運行機制。 1. Java字節碼是什么? 定義 Java字節碼是Java源代碼經過…

微前端框架 Qiankun 的應用及問題分析

一、Qiankun 的核心應用場景與優勢 多技術棧共存與靈活集成 Qiankun 支持主應用與子應用使用不同技術棧(如 Vue、React、Angular 等),通過 HTML Entry 方式接入子應用,無需深度改造子應用即可實現集成,降低了技術遷移成…

function uuid_generate_v4()不存在(二)

說明:之前代碼里用到了postgresql內嵌函數uid_generate_v4()生成記錄的主鍵,提示該函數不存在,寫了下面這篇博客記錄了一下,今天又發現了新的問題,于是補充了這篇博客。 function uuid_generate_v4()不存在&#xff0…

6. 機器人實現遠程遙控(具身智能機器人套件)

1. 啟動控制腳本 遠程作到 Raspberry Pi 中,并運行以下腳本: conda activate lerobotpython lerobot/scripts/control_robot.py \--robot.typelekiwi \--control.typeremote_robot登錄筆記本電腦上,同時運行以下腳本: conda ac…

【簡單的C++圍棋游戲開發示例】

C圍棋游戲開發簡單示例&#xff08;控制臺版&#xff09; ?核心代碼實現? #include <iostream> #include <vector> #include <queue> using namespace std;const int SIZE 9; // 簡化棋盤為9x9?:ml-citation{ref"1" data"citationList&…

RK3568平臺(音頻篇)audio_policy_volumes_drc.xml解析

audio_policy_volumes_drc.xml 是 Android 系統中用于配置音頻策略和音量的 XML 文件。它定義了音頻流的音量曲線、動態范圍控制(DRC)參數以及音頻設備的音量設置。該文件通常位于 /vendor/etc/ 或 /system/etc/ 目錄下,是 Android 音頻框架的重要組成部分。 以下是對 audi…

如何下載安裝 PyCharm?

李升偉 整理 一、下載 PyCharm 訪問官網 打開 PyCharm 官網&#xff0c;點擊 "Download" 按鈕25。 版本選擇&#xff1a; 社區版&#xff08;Community&#xff09;&#xff1a;免費使用&#xff0c;適合個人學習和基礎開發。 專業版&#xff08;Professional&#…

leetcode day27 455+376

455 分發餅干 假設你是一位很棒的家長&#xff0c;想要給你的孩子們一些小餅干。但是&#xff0c;每個孩子最多只能給一塊餅干。 對每個孩子 i&#xff0c;都有一個胃口值 g[i]&#xff0c;這是能讓孩子們滿足胃口的餅干的最小尺寸&#xff1b;并且每塊餅干 j&#xff0c;都有…

HPC超算系列2——新手指南1

一&#xff0c;平臺簡介&#xff1a; 主要是官方手冊指南、B站視頻&#xff08;培訓視頻、軟件視頻&#xff09; 1&#xff0c;超算平臺架構&#xff1a; 和普通的家用電腦的架構不同&#xff0c; 主要區別在于&#xff1a;層次化的結構 &#xff08;1&#xff09;超算是有…

K8S單機部署

主線 :部署簡單的單節點k8s - sowler - 博客園 學習網址&#xff1a;為什么我不能獲取到鏡像&#xff0c;ImagePullBackoff | Kuboard docker鏡像源&#xff1a;https://chuxia.blog.csdn.net/article/details/145090710?spm1001.2101.3001.6650.3&utm_mediumdistribute…

web3區塊鏈

Web3 是指下一代互聯網&#xff0c;也被稱為“去中心化互聯網”或“區塊鏈互聯網”。它是基于區塊鏈技術構建的&#xff0c;旨在創建一個更加開放、透明和用戶主導的網絡生態系統。以下是關于 Web3 的一些關鍵點&#xff1a; ### 1. **核心概念** - **去中心化**&#xff1…

SQL Server核心知識總結

SQL Server核心知識總結 &#x1f3af; 本文總結了SQL Server核心知識點,每個主題都提供實際可運行的示例代碼。 一、SQL Server基礎精要 1. 數據庫核心操作 -- 1. 創建數據庫&#xff08;核心配置&#xff09; CREATE DATABASE 學生管理系統 ON PRIMARY (NAME 學生管理系統…

android 支持自定義布局、線程安全、避免內存泄漏的 Toast 工具類

支持自定義布局&#xff1a;可以靈活地顯示自定義樣式的 Toast。 線程安全&#xff1a;確保在主線程中顯示 Toast&#xff0c;避免崩潰。 避免內存泄漏&#xff1a;使用 ApplicationContext 和取消機制&#xff0c;防止內存泄漏問題。 工具類&#xff1a;作為一個通用的工具…