一、模型介紹
HunyuanVideo-Foley 是騰訊混元團隊在2025年8月底開源的一款端到端視頻音效生成模型。它旨在解決AI生成視頻“有畫無聲”的痛點,通過輸入視頻和文本描述,就能自動生成電影級別的同步音效,顯著提升視頻的沉浸感。
它是專為視頻內容創作者設計的專業級 AI 工具,廣泛適用于短視頻創作、電影制作、廣告創意、游戲開發等多種場景。
🎯?核心亮點
🎬 多場景視聽同步
支持生成與復雜視頻場景同步、語義對齊的高質量音頻,增強影視和游戲應用的真實感和沉浸式體驗。
?? 多模態語義平衡
智能平衡視覺和文本信息分析,全面編排音效元素,避免片面生成,滿足個性化配音需求。
🎵 高保真音頻輸出
自主研發的 48kHz 音頻 VAE 完美重構音效、音樂、人聲,實現專業級音頻生成品質。
二、模型部署步驟
快速部署及使用方法,請通過文末卡片進入算家云,參考“鏡像社區”。
部署環境
Ubuntu | 22.04 |
---|---|
cuda | 12.04 |
python | 3.10 |
NVIDIA Corporation | RTX 3090 |
1.更新基礎的軟件包
查看系統版本信息
#查看系統的版本信息,包括ID(如ubuntu、centos等)、版本號、名稱、版本號ID等
cat /etc/os-release
配置國內源
apt 配置阿里源
將以下內容粘貼進文件中
deb http://mirrors.aliyun.com/debian/ bullseye main non-free contrib
deb-src http://mirrors.aliyun.com/debian/ bullseye main non-free contrib
deb http://mirrors.aliyun.com/debian-security/ bullseye-security main
deb-src http://mirrors.aliyun.com/debian-security/ bullseye-security main
deb http://mirrors.aliyun.com/debian/ bullseye-updates main non-free contrib
deb-src http://mirrors.aliyun.com/debian/ bullseye-updates main non-free contrib
deb http://mirrors.aliyun.com/debian/ bullseye-backports main non-free contrib
deb-src http://mirrors.aliyun.com/debian/ bullseye-backports main non-free contrib
2.基礎 Miniconda3 環境
查看系統是否有 miniconda 的環境
conda -V
顯示如上輸出,即安裝了相應環境,若沒有 miniconda 的環境,通過以下方法進行安裝
#下載 Miniconda 安裝腳本
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
#運行 Miniconda 安裝腳本
bash Miniconda3-latest-Linux-x86_64.sh
#初次安裝需要激活 base 環境
source ~/.bashrc
按下回車鍵(enter)
輸入 yes
輸入 yes
安裝成功如下圖所示
3.創建虛擬環境
創建名為Hun的虛擬環境
conda activate -n Hun python==3.10
激活虛擬環境
4.從 github 倉庫克隆項目
輸入命令克隆并進入項目
git clone https://github.com/Tencent-Hunyuan/HunyuanVideo-Foley.git
cd HunyuanVideo-Foley
5.下載模型依賴庫
pip install -r requirement.txt
出現如圖即為下載完畢
6.下載模型文件
modelscope download --model Tencent-Hunyuan/HunyuanVideo-Foley --local_dir .
7.運行文件拉起界面
python gradio_app.py