數字人實踐教程
本教程主要是講如何在本地UE部署Fay數字人的開源框架。
最終效果可以與人進行自然語言的對話,花了大概10個h的時間到,踩了很多坑,同樣想實現的朋友可以作為參考
參考文檔:Fay 數字人開源框架 - 飛書云文檔
官方的教程已經講的相對詳細了,我在官方教程的基礎上補充幾點。
主流程
一、環境安裝
1、下載安裝 python 3.12
訪問: https://www.python.org/downloads/release
2、安裝 python 3.12
這里必須是python3.12,我試過python3.13會遇見很多錯誤,如果你有能力解決就當我沒說~~
3、下載 Visual Studio 2019 Installer(windows)
下載地址:https://learn.microsoft.com/zh-cn/visualstudio/releases/2019/release-notes
4、Visual Studio 2019 安裝(windows)
二、工程下載
1、工程下載
2、解壓到當前目錄
3、安裝運行依賴庫
在安裝依賴庫之前需要把倉庫中的gevent改成23.9.1或23.10.1,不然會出現依賴報錯。(截止今天25.3.7)版本
選中導行欄輸入“cmd”回車,在命令提示符窗口輸入”pip install -r requirements.txt”回車,等待安裝完成
4、 安裝啟動funasr
1、進入Fay/asr/funasr代碼目錄
2、安裝依賴
在終端或cmd中分別執行以下命令
pip install torch
pip install modelscope
pip install testresources
pip install websockets
pip install torchaudio
pip install FunASR
3、終端或cmd啟動funasr服務端(保持啟動)
python -u ASR_server.py --host "0.0.0.0" --port 10197 --ngpu 0
三、控制器運行
在啟動Fay之前需要配置一些東西:
1. 阿里元的服務秘鑰
選擇開通并購買,前3個月免費智能語音交互_語音識別系統_自然語言處理-阿里云
選擇試用立即開通
點擊全部項目
復制項目功能配置后面的appKey
很重要,之后要填入配置文件。
然后點擊后面的
點擊我以及知曉,然后使用云賬號
接下來創建key,通過手機號驗證
讓后就是復制AccessKeyID
以及AccessKey Secret
里面的字符串。
找到項目中的system.conf
文件,然后填入剛剛我們申請的ID,Key和secret。
2.本地大模型下載
打開ollama官網:Ollama Search,先傻瓜式安裝軟件。
然后選擇模型
在本地啟動命令行,并在命令行輸入命令
ollama run deepseek-r1:1.5b
3.啟動Fay
1)、進入Fay根代碼目錄
2)、運行命令
在終端或者cmd運行命令并回車
python main.py
3)、訪問管理
瀏覽器訪問 http://127.0.0.1:5000
四、接入虛幻
寫到這沒啥時間了,把上面完成之后基本打開虛幻運行就可以了。下次有時間在把虛幻的補上~~
虛幻就主要是插件不好找以及插件收費的問題了。
github源碼倉庫:https://github.com/xszyou/Fay
UE5工程請git倉庫里面找,里面有他們的百度網盤鏈接。