一、介紹
昨天有提到官方已經支持了Skyreels,皆大歡喜,效果更好一些,還有GGUF量化版本,進一步降低了大家的顯存消耗。
今天就來分享一下官方流怎么搭建,我體驗下來感覺更穩了一些,生成速度也更快,不愧是官方。
二、相關模型
要使用官方版的混元視頻,你版本要更新到2月19號
然后其他模型很多是通用的,有幾個是新的,反正我網盤里面都有提供
首先是大模型,bf16或者fp8的,還有GGUF的回頭再說
加速lora:skyreels-i2v-smooth-lora-test-00000350.safetensors
CLIP有2個
VAE一個
三、工作流說明
不復雜,官方的流其實和Flux那一套很像,我一共分5個模塊和大家說說
- 圖片處理,尺寸限制
- 模型加載,各種模型
- 提示詞描述
- 采樣生成視頻
- 視頻合并輸出
來,今天干貨很多,今年AI視頻領域要大爆發了,快跟上,付費的工具太貴了,還是多期待這種開源的能起來,這樣大家玩AI的成本才能降下來。
圖片處理
首先我們要對圖片做一些尺寸限制,目前 Skyreels 官方有給出推薦的圖片尺寸 544x97,最高幀率是97幀,在這個范圍內都可以調整。
所有我這里對寬高做了一些限制,這里面有個很細節的地方,我設置了短邊最少是544,高度跟著自適應,這種是適合豎屏的,如果是橫屏的你就自己調整一下。
尺寸越大,生成時間越長,關鍵是顯存占用就更多。
我測試了上百次,發現一個問題,之前我用倍數取整8倍,經常會報錯下面這個錯。
后來我調整到16倍了就不報錯了,這個細節大家自己遇到了也可以跟著調整。感覺這個對圖片尺寸有一些限制的。
模型加載,各種模型
這里核心就是加載了Skyreels的I2V模型,以及上篇提到的 加速穩定lora,這2個是核心,中間的Patch Sage Attention KJ
以及Patch Model Patcher Order
你可以隱藏掉。
我這里開啟了,是要用到SageAttention注意力量化加速的應用,可以提高視頻生成速度。
官網地址:https://github.com/thu-ml/SageAttention
簡單的理解,就是保持質量不變,減少生成時間,這個在視頻領域還是很重要的。
安裝這個,我折騰了好幾個小時,這個東西不能在線安裝,需要把源碼下載下來,本地編譯安裝,才是最新的SageAttention 2.0.1 版本。
安裝對本地的依賴版本要求比較高,我簡單的列一下:
官方也給出了基礎要求,torch要大于2.3,我是安裝2.5.1
CUDA也不能太低,我是安裝了12.4
安裝步驟如下
git clone https://github.com/thu-ml/SageAttention.git
cd sageattention
python setup.py install # or pip install -e .
安裝SageAttention之前,需要先安裝上了triton,這個之前一篇講Skyreels的文章說到過。
如果你折騰了半天安裝不上,也可以不用,直接參數選擇禁用即可。
另外,KJ大佬那邊模型也提供了GGUF的模型
https://huggingface.co/Kijai/SkyReels-V1-Hunyuan_comfy/tree/main
大家根據自己實際顯存大小挑選使用把推薦Q4、Q6都試試看,要使用GGUF,你那你需要安裝個GGUF插件。
提示詞描述
這個就是常規的提示詞模塊了,最終接入到InstructPixToPix條件。
要注意的是,這里正負提示詞都需要寫個FPS-24
,聽說這樣生成的視頻質量會好一些。
這里的動畫描述詞要自己寫,我自己額外做了一個高級版本,通過圖片反推,再通過DeepSeek R1的思考,直接根據一張圖給出了最適合的圖片動畫描述詞。
效果還不錯,接入了目前最火的DeepSeek R1的API,免費額度也夠我用很久了。
這部分是付費,有需要的到時候再聯系我,教你如何接入DeepSeek R1。
采樣生成視頻
官方版本的采樣一共分兩次,第一次是增加了一些噪點后采樣一次,然后再接一個采樣,有個地方設置要注意,這里用了分離Sigmas,值記得要是總步數的一半,比如我們這里只要20步,那前后各10步。
空Latent視頻這里的總長度就是幀率,49幀就是大概2秒。
其他設置保持不變即可,最后出的視頻再加一個圖像調色后就可以生成視頻了
到這里后面其實還可以做一些優化,比如補幀、以及后期的視頻高清放大,都有方案,以后再慢慢分享,一次分享太多怕大家吸收不過來。
案例演示
下面是幾個我通過DeepSeek R1推理模型給出的動畫提示詞描述,效果感覺比我自己寫牛逼多了。
這些都是直接在ComfyUI工作流里面搞定的,都是自動化,非常方便。
藍色長發如綢緞般輕柔向右側飄動,發尾泛起細微光點漣漪,鱗片服飾下擺隨步伐節奏小幅起伏閃爍,犄角頭飾尖端緩慢上下點動,T臺兩側人群頭部同步小幅度左右轉動注視,背景波浪紋路由中心向兩側傳遞起伏光波,保持CGI材質的光澤流動感與暗色人魚裝束對比,所有動態元素運動軌跡相互牽引,服裝高光區域始終維持鱗片結構的數字渲染質感
混元圖生視頻1
棕色長發末端輕柔向右飄動, 仙女燈串光線柔和明暗起伏, 窗外云層緩慢向左平移, 木地板反光波紋輕微蕩漾, 灰色沙發靠墊隨呼吸節奏微微下陷, 保持寫實攝影質感與極簡家居構圖
自動寫提示詞2
黃葉沿弧形軌跡緩慢飄落,白色貨車沿路面輕微顛簸前行,輪胎勻速旋轉,炊煙呈波浪形向右側蜿蜒上升,左側郵箱因震動左右微幅擺動,云層整體向右緩慢平移,樹枝末梢隨風高頻低幅顫動,楓葉在飄落時伴隨自轉,保持半寫實筆觸的溫暖秋色質感,柏油路面反光點隨云影移動明暗交替,二樓窗簾呈現呼吸般的起伏,輪胎揚起的細小塵埃呈螺旋擴散,所有動態元素活動范圍嚴格控制在局部區域。
hunyuan-_00011
打傘少女的長發絲縷向右輕柔飄動,傘面以中心軸緩慢順時針旋轉,綠色植物葉片隨傘轉動方向起伏搖擺,熒光蝴蝶翅膀高頻顫動伴隨光粒上升軌跡,地面光暈以呼吸節奏明暗脈動,保持霓虹漸變筆觸與柔光彌散效果,禁止人物位移或鏡頭推拉,所有動態幅度控制在傘面投影區域內
hunyuan-_00018
少女騎行時棕色發絲輕柔后揚,藍色裙擺隨踏板節奏小幅起伏,自行車輪勻速轉動輻條閃爍,背景云層緩慢右飄形態緩慢拉伸,海面波紋橫向擴散推擠船體輕微上下浮動,保持動漫風格高飽和色塊與硬朗輪廓線,禁止鏡頭移動或比例變化,動態元素僅限發梢10%、裙擺15%、云層20%區域微動。
hunyuan-_00020
四、云端鏡像
大家如果沒有本地 ComfyUI 環境,或者本地顯卡配置低于 16G 的,可以使用嘟嘟部署的仙宮云鏡像,可直接加載使用。后續分享的工作流都會更像到鏡像中,一周更新一次,方便大學學習。
目前整合了2個鏡像,一個是Flux繪圖用的,另外一個是針對視頻模型的,之所以分開是一些模型兼容問題,分開比較好處理。
今天這個圖生視頻官方版本案例已經弄到鏡像上了,歡迎體驗,鏡像上我也安裝了加速的SageAttention 2.0.1,4秒視頻,5分鐘就出來了,速度和可靈官方接口差用差不多。
鏡像名稱:嘟嘟AI繪畫趣味學
云平臺鏡像地址:
https://www.xiangongyun.com/image/detail/d961a7dc-ade3-4bd5-a7c6-92ac49ff5e4b?r=37BCLY
https://www.xiangongyun.com/image/detail/81716d29-4461-4b0b-ba4b-7b9b7dd569d3?r=37BCLY
新用戶通過邀請碼注冊,總共可獲得 8 元獎勵,體驗 4 個小時的 4090 作圖時長。
五、總結
以上就是ShyReels官方版工作流使用說明了,效果真的越來越好了。
簡單版本圖生視頻工作流是免費分享給大家。
但想要帶DeepSeek R1自動生成動畫提示詞模塊的,可以聯系我,這個是付費版本的,售價還是39.9,我會發你完整版工作流,再給你一個詳細的接入文檔,DeepSeek R1目前是主流大模型,接入ComfyUI可以做很多事情。
昨天剛幫一個影視機構搞定批量圖生視頻工作流,省下了大批成本,可靈目前還是偏貴,現在AI視頻開源模型越來越好,我相信以后AI視頻的價格是可以打下來的。
AI時代,值得我們去投入時間研究。
技術的迭代是飛快的,要關注最新的消息才不會掉隊。?
嘟嘟每天分享最新的ComfyUI技術前沿。?
本篇中的工作流和模型網盤鏈接:https://pan.quark.cn/s/ab576aa693ab
我是嘟嘟,專注于 AI 繪畫以及 AI 工具分享,歡迎來一起交流。?
如果覺得文章有幫助,請幫忙點贊收藏關注一下呦~?