通義萬相wan2.2 Fun系列--Camera鏡頭控制與lnp首尾幀視頻模型

? ? 上節內容講解了wan2.2 fun control本節內容對wan2.2 fun系列模型的camera鏡頭控制模型與lnp首尾幀視頻模型進行測試與講解。

? ? ?Wan2.2-Fun-Camera-Control是阿里基于Wan2.2框架推出的圖生視頻運鏡控制模型 。它支持512、768、1024等多分辨率的視頻預測,以81幀、每秒16幀視頻數據集訓練,還支持多語言預測。該模型能實現豐富運鏡效果,包括搖鏡上移、左移、右移、下移,推鏡、拉鏡,以及搖鏡上移與左移或右移的組合等。借助它,創作者無需復雜提示詞,就能精準實現復雜運鏡視頻控制,極大提升視頻創作中鏡頭語言的表現力 。?

? ? Wan2.2-Fun-Inp是阿里巴巴PAI團隊開源的視頻首尾幀生成模型,采用Apache 2.0許可協議,支持商業使用。它允許用戶輸入首幀與尾幀圖像,模型自動補全中間過渡動畫,有效提升視頻連貫性與創作自由度。基于先進的Wan2.2架構,它能輸出影視級高質量視頻,在畫面細節、光影和色彩表現上十分出色。并且,該模型支持512×512、768×768、1024×1024等多分辨率視頻生成,可滿足廣告制作、影視創作、短視頻制作等不同場景需求 。(wan2.2基礎模型也具備首尾幀視頻功能,詳見wan2.2基礎模型對應文章內容)

? ? 文末附相關模型的網盤下載地址。

1 模型下載

1.1 wan2.2 fun camera鏡頭控制模型

模型下載地址(需科學上網):

https://huggingface.co/Comfy-Org/Wan_2.2_ComfyUI_Repackaged/tree/main/split_files/diffusion_models

模型分為5B和14B模型兩種規格。

14B模型劃分為高噪聲模型與低噪聲模型,且每類模型又分為fp16與fp8兩種模型。

圖片

模型安裝位置:..\ComfyUI\models\diffusion_models

1.2?Wan2.2-Fun-Inp首尾幀視頻模型

上述模型下載地址中,下載名稱為wan2.2funinpaint相關模型。

圖片

模型安裝位置:..\ComfyUI\models\diffusion_models

注:wan2.2系列模型對應的VAE等模型使用方式一致,如已按前文內容下載VAE等模型,則后續模型無需再重復下載。

1.3?VAE模型

(1)14B版本模型工作流中所使用的VAE模型仍是wan2.1版本的VAE模型。

下載地址:

https://huggingface.co/Comfy-Org/Wan_2.1_ComfyUI_repackaged/tree/main/split_files/vae

圖片

文件存放目錄:..\comfyui\models\vae

(2)5B混合模型使用wan2.2專用VAE模型,下載地址:

wan2.2_vae.safetensors

模型下載地址(需科學上網):

https://huggingface.co/Comfy-Org/Wan_2.2_ComfyUI_Repackaged/tree/main/split_files/vae

圖片

模型安裝位置:..\comfyui\models\vae

1.4Text Encoder文本編碼器

umt5_xxl_fp8_e4m3fn_scaled.safetensors

模型下載地址(需科學上網):

https://huggingface.co/Comfy-Org/Wan_2.2_ComfyUI_Repackaged/tree/main/split_files/text_encoders

圖片

注:該模型與wan2.1/2.2系列模型共用,如已使用過wan模型則無需重復下載。

1.5加速lora模型(lightx2v_4steps_lora)

模型下載地址(需科學上網):

https://huggingface.co/Comfy-Org/Wan_2.2_ComfyUI_Repackaged/tree/main/split_files/loras

圖片

模型安裝目錄:..\comfyui\models\loras

高噪聲和低噪聲模型加載器后均需鏈接對應版本的加速lora模型。

使用了 lightx2v 的?Wan2.2-Lightning?4 步 LoRA : 但可能導致生成的視頻動態會有損失,但速度會更快。下面是comfyorg官方使用RTX4090D 24GB顯存GPU 測試的結果 640*640 分辨率,81 幀長度的用時對比:

模型類型

分辨率

顯存占用

首次生成時長

第二次生成時長

fp8_scaled

640×640

83%

≈ 524秒

≈ 520秒

fp8_scaled + 4步LoRA加速

640×640

89%

≈ 138秒

≈ 79秒

2 工作流

2.1 wan2.2 fun camera鏡頭控制模型

在 WanCameraEmbedding 節點設置相機控制參數:

Camera Motion: 選擇相機運動類型(Zoom In、Zoom Out、Pan Up、Pan Down、Pan Left、Pan Right、Static 等)

Width/Height: 設置視頻分辨率

Length: 設置視頻幀數(默認81幀)

Speed: 設置視頻速度(默認1.0)

圖片

圖片

2.2wan2.2 fun lnp首尾幀視頻模型

(1)首尾幀圖片上傳,分別上傳首尾幀圖片素材

(2)WanFunInpaintToVideo 節點尺寸和視頻長度調整:

調整 width 和 height 的尺寸,默認為 640, 我們設置了較小的尺寸你可以按需進行修改:

調整 length, 這里為視頻總幀數,當前工作流 fps 為 16, 假設你需要生成一個 5 秒的視頻,那么你應該設置 5*16 = 80

圖片

3 附件

? ? 本節內容涉及模型網盤地址:https://pan.quark.cn/s/0062f602f8b4

? ? 模型文件已進行整理,網盤內包含工作流獲取方式,適合不方便科學上網的的小伙伴下載使用。模型文件數量較多且尺寸較大,為避免下載中斷等問題,可先轉存再下載。

??? ? ?歡迎正在學習comfyui等ai技術的伙伴V加 huaqs123 進入學習小組。在這里大家共同學習comfyui的基礎知識、最新模型與工作流、行業前沿信息等,也可以討論comfyui商業落地的思路與方向。 歡迎感興趣的小伙伴,群共享資料會分享博主自用的comfyui整合包(已安裝超全節點與必備模型)、基礎學習資料、高級工作流等資源……

? ? 致敬每一位在路上的學習者,你我共勉!Ai技術發展迅速,學習comfyUI是緊跟時代的第一步,促進商業落地并創造價值才是學習的實際目標。

?

——畫青山Ai學習專欄———————————————————————————————

零基礎學Webui:

https://blog.csdn.net/vip_zgx888/category_13020854.html

Comfyui基礎學習與實操:

https://blog.csdn.net/vip_zgx888/category_13006170.html

comfyui功能精進與探索:

https://blog.csdn.net/vip_zgx888/category_13005478.html

系列專欄持續更新中,歡迎訂閱關注,共同學習,共同進步!

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/pingmian/95864.shtml
繁體地址,請注明出處:http://hk.pswp.cn/pingmian/95864.shtml
英文地址,請注明出處:http://en.pswp.cn/pingmian/95864.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

JavaSE 集合從入門到面試:全面解析與實戰指南

JavaSE 集合從入門到面試:全面解析與實戰指南 在 Java 編程中,集合是處理數據的核心工具,幾乎所有 Java 應用都會用到集合框架。從簡單的列表存儲到復雜的數據分析,集合框架提供了豐富的數據結構和操作方法。本文將從基礎概念到面…

自建云音樂服務器:Navidrome+cpolar讓無損音樂隨身聽

文章目錄前言1. 安裝Docker2. 創建并啟動Navidrome容器3. 公網遠程訪問本地Navidrome3.1 內網穿透工具安裝3.2 創建遠程連接公網地址3.3 使用固定公網地址遠程訪問前言 “想聽自己的無損音樂還要開會員?”——音樂發燒友小王的煩惱。商業音樂平臺音質壓縮&#xff…

C3P0連接池適配HGDB

文章目錄文檔用途詳細信息文檔用途 講解常用的并且需要與數據庫進行交互的開源框架C3P0,以及C3P0框架是如何適配HGDB的。 詳細信息 1.C3P0概述 C3P0是一個開源的JDBC連接池,它實現了數據源和JNDI綁定,支持JDBC3規范和JDBC2的標準擴展。目…

ZeroGPU Spaces 加速實踐:PyTorch 提前編譯全解析

ZeroGPU 讓任何人都能在 Hugging Face Spaces 中使用強大的 Nvidia H200 硬件,而不需要因為空閑流量而長期占用 GPU。 它高效、靈活,非常適合演示,不過需要注意的是,ZeroGPU 并不能在所有場景下完全發揮 GPU 與 CUDA 棧的全部潛能…

8.ImGui-輸入框

免責聲明:內容僅供學習參考,請合法利用知識,禁止進行違法犯罪活動! 本次游戲沒法給 內容參考于:微塵網絡安全 上一個內容:7.ImGui-單選框和復選框 單行輸入框使用 ImGui::InputText(),下圖中…

2025年- H120-Lc28. 找出字符串中第一個匹配項的下標(數組)--Java版

1.題目2.思路 短的子串相對不變 所以我們用長的字符串去截取in個長度的子串做遍歷 如果兩者相等 返回字符串第一個匹配項的索引的下標 3.代碼實現 class Solution {public int strStr(String haystack, String needle) {int s1haystack.length();int s2needle.length();//遍歷最…

uport1100系列轉接頭,SZ系列光電編碼器RS485通信

安裝uport1100系列轉接頭驅動 :選擇對應自己系統內核版本的驅動。否則爆出系統內核過高過低等問題。 查看系統內核版本指令: uname -r #簡要 uname -a #詳細驅動下載官網: https://www.moxa.com.cn/support/product-support/software-and-…

Java全棧開發面試實戰:從基礎到微服務架構

Java全棧開發面試實戰:從基礎到微服務架構 在一次互聯網大廠的Java全棧開發崗位面試中,一位名叫李明的28歲程序員,擁有計算機科學與技術本科學歷,工作年限為5年。他的主要職責包括設計和實現前后端分離的Web應用、參與微服務架構的…

win10(三)視頻剪裁

上傳一刻相冊,有30M大小限制。這個軟件能免費剪裁視頻而且支持手機的H.265格式,這個格式目前連potplayer都支持不好。但是配合FFmpeg可以檢測并且能按大小(或時間)剪裁,并上傳到一刻相冊上播放。 下載FFmpeg的方法&am…

Linux--線程

Linux線程概念 1 什么是線程 ? 在?個程序?的?個執?路線就叫做線程(thread)。更準確的定義是:線程是“?個進程內部 的控制序列” ? ?切進程?少都有?個執?線程 ? 線程在進程內部運?,本質是在進程地址空間內運? ? 在L…

【C++】C++11的包裝器:function與bind簡介

各位大佬好,我是落羽!一個堅持不斷學習進步的學生。 如果您覺得我的文章還不錯,歡迎多多互三分享交流,一起學習進步! 也歡迎關注我的blog主頁: 落羽的落羽 文章目錄一、function1. 概念2. 用法二、bind1. 概念2. 用法…

MySQL高級特性詳解

MySQL高級特性詳解 一、自關聯查詢 概念 自關聯查詢是指一個表與它自己進行連接的查詢。通常用于處理具有層級關系或遞歸結構的數據。 應用場景 員工與上級關系分類的父子關系地區的層級關系 示例 -- 創建員工表 CREATE TABLE employees (emp_id INT PRIMARY KEY,emp_name VARC…

深度學習——調整學習率

學習率調整方法詳解在深度學習訓練過程中,學習率(Learning Rate, LR) 是影響模型收斂速度和效果的關鍵超參數。學習率過大可能導致訓練不穩定、震蕩甚至無法收斂;學習率過小又會導致收斂過慢甚至陷入局部最優。因此,如…

Java分頁 Element—UI

前端代碼 <div class"block"><span class"demonstration">頁數較少時的效果</span><el-paginationlayout"prev, pager, next":total"50"></el-pagination> </div>參考Element-UI total:0, form: …

html中列表和表格的使用

列表一般來說只有一列一列的進行使用&#xff0c;是一維的列表分為三種列表形式<!-- 列表標簽ul-li:無序列表&#xff0c;必須用 <ul> 當 “容器”&#xff08;代表 “無序列表”&#xff09;&#xff0c;每個條目用 <li> 包起來&#xff08;代表 “列表項”&am…

大學信息查詢平臺:一個現代化的React教育項目

一 項目簡介大學信息查詢平臺是一個基于React Vite Tailwind CSS構建的現代化Web應用&#xff0c;專門用于查詢中國各大高校的詳細信息。該項目不僅功能實用&#xff0c;更在用戶體驗和界面設計上做到了極致。二 核心功能2.1. 智能大學搜索// 搜索功能核心代碼 const searchU…

代碼隨想錄算法訓練營第六天 - 哈希表2 || 454.四數相加II / 383.贖金信 / 15.三數之和 / 18.四數之和

代碼隨想錄算法訓練營第六天 - 哈希表2 || 454.四數相加II / 383.贖金信 / 15.三數之和 / 18.四數之和454.四數相加II解題思路383.贖金信自己解答&#xff1a;代碼隨想錄講解暴力做法哈希表15.三數之和雙指針優化改進18.四數之和自己的解答系統講解454.四數相加II 文檔講解&…

FPGA實現流水式排序算法

該算法采用雙調排序算法&#xff0c;是一種可流水的遞推算法&#xff0c;且算法的消耗時長可算&#xff0c;具體細節參考視頻&#xff1a; https://www.bilibili.com/video/BV1S3thzWEnh/?spm_id_from333.1387.homepage.video_card.click&vd_source69fb997b62efa60ae1add…

平衡車 -- MPU6050

&#x1f308;個人主頁&#xff1a;羽晨同學 &#x1f4ab;個人格言:“成為自己未來的主人~” 傳感器原理 此外&#xff0c;用陀螺儀獲取x,y,z軸的加速度。 初始化 我們現在對MPU6050進行初始化&#xff0c;MPU6050通過I2C總線與單片機進行通信&#xff0c;通過的是PB8和PB…

在電路浪涌測試中,TVS(瞬態電壓抑制二極管)的防護效果確實會受到陪測設備中去耦網絡(Decoupling Network,DN)的顯著影響

在電路浪涌測試中&#xff0c;TVS&#xff08;瞬態電壓抑制二極管&#xff09;的防護效果確實會受到陪測設備中去耦網絡&#xff08;Decoupling Network&#xff0c;DN&#xff09;的顯著影響&#xff0c;這一現象與浪涌能量的傳遞路徑、阻抗匹配及信號完整性密切相關。結合 AD…