最近一種叫“瞬息全宇宙”的視頻火了,抖音一期視頻百萬贊,各個博主視頻都在帶瞬息全宇宙這個標簽,于是就有很多朋友催我出教程了,在琢磨了幾天之后,終于整出來了
教程包含了插件的安裝,界面的講解,基本看完之后是能做出來和爆款一樣的效果的
如果你想定制化操作,也有進階的知識點讓你玩出花樣
另外,模型和預設也給大家準備好了,放在文章的末尾,希望能幫助到大家
一、瞬息全宇宙
最近這段時間,一種叫瞬息全宇宙的視頻火了
抖音一期視頻百萬贊,各個博主視頻都在帶瞬息全宇宙這個標簽
瞬息全宇宙分兩種:
一種是【穿越之旅】,另一種是【平行宇宙】
“穿越之旅”就是這種畫面不斷變化,變成新場景,看起來像一個穿越旅途一樣的視頻
“平行宇宙”就是固定著原來的照片輪廓,變成不一樣的風格的視頻
就像是一個人在平行宇宙,平行時空的形態
制作穿越之旅,用到的是Stable Diffusion里面的deforum插件
制作平行宇宙,用到的則是一個叫runway的網站里的功能
兩種視頻都叫“瞬息全宇宙”,但做法是完全不同的
于是你會發現網絡上很多文章,其實都沒搞懂兩者的區別就教別人做了,甚至很多是教大家用做“穿越之旅”的方式去做“平行宇宙”的效果,結果最后觀眾其實做不出自己心中想要的效果
所以希望這篇文章能帶給大家更準確一點的認識,如果我有說錯的地方也歡迎大家指正
二、“穿越之旅”怎么做
穿越之旅用到的是Stable Diffusion(簡稱SD)里面的deforum插件
這個deforum插件的使用方法跟我們用SD生成照片其實是差不多的
想要快速生成一個視頻其實只有兩步:
1.安裝插件
2.寫提示詞
其他所有的設置都只是為了讓這個視頻更加的有趣,比如:
1.增加視頻時長
2.制作視頻運鏡
3.定制開頭
4.做網上的爆款視頻
5.可以照抄的一些參數設置
接下來我就跟大家分享每一個部分的詳細操作!
三、快速生成自己的第一個視頻
1.一分鐘快速安裝插件
先安裝Stable Diffusion!!
接下來我們就開始安裝插件啦!
1.打開SD,在狀態欄里面點擊“擴展”
2.點擊“可下載”
3.點擊“加載擴展列表”
4.在搜索框里面輸入“Deforum”
5.看到“Deforum”,點擊右邊的“安裝”
安裝完了之后,關掉SD
下載網盤里面的《1.deforum模型》
復制里面的兩個文件到SD文件夾,放到“models”里面的"Deforum"文件夾
(添加這兩個文件是為了減少后續使用的時候出現報錯)
這時候再重新打開SD(重新啟動web ui),我們的狀態欄里面就多了一個“Deforum”的界面
看到這個界面我們的插件就安裝好啦!
如果重啟之后還是沒有Deforum的界面,那是因為SD和deforum的版本不適配
有兩種解決辦法,選一個就行:
1.升級SD版本
找到“版本管理”,切換SD版本
2.降低deforum版本
在“版本管理”——“擴展”——找到deforum,切換版本
2.寫好提示詞才是最重要的
不管是做圖還是做視頻,最重要的就是提示詞
只有通過提示詞告訴SD我們腦海里的想法,才能生成出來想要的視頻
寫提示詞可以分為以下幾步:
1.選大模型
2.寫提示詞
3.寫正負向提示詞
①選擇合適的大模型
和做圖一樣,做視頻之前要先選擇我們視頻的畫風,是二次元、真人3D還是水墨畫
而在SD里面,大模型就控制著我們照片的畫風
在左上角選擇切換模型
在我自己試驗下來發現有些大模型出來的視頻效果是不太好的
目前來說,照片里的這個模型做這種特效視頻出來的效果是最好的
(模型已經放在網盤啦!)
②寫提示詞
我們平時用SD做圖的時候,提示詞寫的都只是在描述一張照片的
而做視頻就是需要把幾張圖的提示詞拼到一起
我們打開deforum的提示詞界面
里面已經有系統默認輸入的一大段提示詞
翻譯成中文是這樣的:
{
“0”: “小巧可愛的沼澤兔,高度細致,復雜,超高清,清晰的照片,黃昏的光線,聚焦,作者 Tomasz Alen Kopera”
“30”: “擬人潔凈的貓,被分形所包圍,史詩的角度和姿勢,對稱,3D,景深,阮家和風華中”,
“60”: “一個漂亮的椰子——陰性照片,真實”
“90”: “一顆漂亮的榴蓮,在藝術站上走紅”
}
我們可以看到一行就是一張照片的提示詞
把四張照片的提示詞放到一起
出來的視頻就是從一張照片演變成另一張照片的過程
接下來我們重新寫提示詞,生成一條新的視頻
最簡單的,我想視頻開頭是一束花,然后變成一個漂亮的女孩,再變成一只貓,最后變成一個可愛的男孩
那這四張照片對應的提示詞就是:
a bunch of flowers
a beautiful girl
a cat
a lovely boy
把提示詞填進去就是這樣的👇
這里一定一定要注意格式!!!
1.所有的提示詞都在{ }里面
2.前面的數字代表的是照片的幀數(下一節會講)
3.每一行的提示詞都要在“ ”里面
4.每一行最后要有一個逗號(最后一行不用)
5.所有符號(雙引號、冒號、逗號)都是英文狀態下輸入的(如果最后生成視頻出現報錯,很有可能是符號出錯)
輸入完提示詞,就可以點擊右邊的“生成”生成視頻
生成出來之后,點擊上面的地方就可以看生成好的視頻
點擊視頻右下角的三個點可以下載視頻
這樣我們的第一條視頻就做好啦!
現在出來的視頻效果還比較差
因為我們的提示詞輸入的太過于簡單了,出來的畫面也就比較簡單
而且要配合上視頻運鏡才會出來好的效果(后面會講)
那怎么樣才能寫好提示詞呢?
其實寫提示詞也是有模板的:
主體+主體的細節+周圍環境+畫風
比如我想要生成一個女孩
那我的提示詞就可以寫成:
主體:一個女孩
細節:長發,穿著白色裙子,站在馬路上
環境:背景是城市建筑、白天
畫風:現實風格
變成英語就是:a girl, long hair, wearing a white skirt, standing on the road, the background is urban architecture, daytime, realistic style
每一行的提示詞都可以按照這個模板去寫
提示詞描述的越準確,出來的視頻才會越接近我們腦海里的畫面!
③正向提示詞和負向提示詞
為了讓視頻出來的質量更高
我們還可以輸入一些正向提示詞和反向提示詞
正向提示詞就是你希望視頻會出現的東西,比如最高質量、高清畫質之類的詞語
反向提示詞就是你不希望照片會出現的東西,比如低質量,多余的手或腳之類的詞語
這里的正反向提示詞是作用到整個視頻的
所以不要寫某一張照片里面的細節,不然整條視頻都會出現這個東西
這里我把提示詞放出來,大家直接復制上去就可以
正向提示詞:
Highest quality, masterpieces, extreme detail, 8K, HD qualit
反向提示詞:
nsfw, nude,(worst quality:2), (low quality:2), (normal quality:2), lowres, ((monochrome)), ((grayscale)), bad anatomy,DeepNegative, skin spots, acnes, skin blemishes,(fat:1.2),facing away, looking away,tilted head, lowres,bad anatomy,bad hands, missing fingers,extra digit, fewer digits,bad feet,poorly drawn hands,poorly drawn face,mutation,deformed,extra fingers,extra limbs,extra arms,extra legs,malformed limbs,fused fingers,too many fingers,long neck,cross-eyed,mutated hands,polar lowres,bad body,bad proportions,gross proportions,missing arms,missing legs,extra digit, extra arms, extra leg, extra foot,teethcroppe,signature, watermark, username,blurry,cropped,jpeg artifacts,text,error
四、自由控制視頻時長
我們已經可以生成出來一條視頻了
但是現在我想讓視頻時長更長一點,生成更多的照片,該怎么辦呢?
我們可以通過調整deforum里面的兩個參數來改變視頻的時長
打開deforum的關鍵幀頁面
下面的“最大幀數”就可以控制我們的視頻長度
這里的一幀我們可以理解為一張照片
200幀就是生成200張照片
再打開“輸出”頁面
這里的“FPS”控制的就是視頻的速度
把參數調到15,就代表著1秒鐘生成15幀(也就是1秒鐘生成15張照片)
參數調到30,就代表著1秒鐘生成30張照片
假如我們現在的最大幀數設置成200,FPS的參數設置為15(也就是總共200張照片,1秒播放15張照片)
那我們的視頻時長就是:200÷15=13.33秒
那也就是說,我們可以通過設置最大幀數和FPS來調整視頻的時長
但正常情況下,FPS調到15就可以了,我們只要設置最大參數就行
比如我想要一條30秒左右的視頻
30×15=450
那我的最大幀數就要設置成450幀
了解了這個幀數之后,我們再看回提示詞前面的數字
這里的數字代表的就是幀數
“0”代表的就是一開始的照片:一束花
“30”代表的是第30幀照片:一個漂亮的女孩
所以第0~30幀就是一束花變成一個漂亮女孩的過程
30~60幀就是一個漂亮女孩變成一只貓的過程
60~90就是一只貓變成一個可愛的男孩的過程
這里的數值是可以根據我們設置的最大幀數去調整的,或者生成更多張照片
五、掌握視頻運鏡,做出大師級別的作品
前面我們生成出來的照片都是固定在一個視角的
在deforum里面,我們可以通過設置參數
讓視頻跟著我們設置的參數動起來,讓視頻變得更加有趣
打開deforum的關鍵幀界面
先把動畫模式設置成“3D”,右邊的參數設置成“wrap”
往下看,運動參數里面的所有設置都是為了讓我們的照片動起來的
接下來我們來看看這些參數到底怎么控制視頻運動
我們以“平移X”為例子,看看視頻鏡頭是怎么運動的
默認狀態下的參數是:0:(0)
前面的0代表的是第0幀,括號的0代表的是不運動
當括號里面的數值大于0的時候,視頻鏡頭向右移動
當括號里面的數值小于0的時候,視頻鏡頭向左移動
比如現在我想讓視頻鏡頭前半段向右移動,后半段向左移動
那就是從第0幀開始,速度為2向右移動
一直向右移動直到第60幀,變成速度為2的向左移動
寫出來就變成:0: (2),60:(-2)
要注意的是:中間用逗號隔開
那如果說現在鏡頭從第0幀開始一直向右運動,運動到一半我想讓鏡頭定住不動了
寫出來就變成:0: (2),60:(0)
下面的其他參數格式都是一樣的
不一樣的就是鏡頭運動的方向不一樣
大家可以看下面的表格,當參數大于0或者小于0時,鏡頭是怎么運動的
平移 Y | 平移 Z | Rotation 3D X | Rotation 3D Y | Rotation 3D Z | |
---|---|---|---|---|---|
大于0 | 向上 | 放大 | 從遠到近旋轉 | 從右到左的旋轉 | 逆時針旋轉 |
小于0 | 向下 | 縮小 | 從近到遠旋轉 | 從左到右的旋轉 | 順時針旋轉 |
具體的運動方式大家可以自己去試試看
這里就不具體演示了
上面說到的全部參數都是可以混著調整的
在網盤里面也給大家準備好了預設
直接套用也可以
六、定制開頭,玩出花樣
還有一種更有趣的玩法就是給視頻加一張開頭的照片
這樣后續的視頻就會根據我們給的這張照片繼續演變成下一張照片
具體的步驟:
1.導入照片
2.寫提示詞
3.設置鏡頭運動
4.生成視頻
就以這張大家都熟知的照片作為開頭第一幀的照片
看看最后究竟能生成出什么樣的視頻
1.導入照片
首先要把這張照片先導入到deforum里面
鼠標右鍵點擊照片,點擊“復制文件地址
打開deforum的“初始化”界面
勾選“使用初始化”
然后把剛剛復制的文件地址粘貼到“初始化圖像”的文本框里面
然后把前后的兩個雙引號刪掉,不然會出現報錯!!!
這樣的我們的照片就導入進來了
2.寫提示詞
接下來就要想一下我們要生成一條什么樣的視頻
把它變成提示詞輸入進去
這里需要注意的就是第0幀的提示詞
因為我們已經給了一張初始照片,就不用再去描述一個畫面了
所以這里可以填上一些照片質量的提示詞(比如大師杰作,高清,極致的細節,現實風格等等)
然后直接把前面給正負提示詞復制上去
這樣我們提示詞就寫完了
3.設置鏡頭運動
接下來為了讓視頻更加有趣,稍微設置一下鏡頭運動
大家一定要注意:運動參數里面的冒號、括號、逗號都要是英文狀態下輸入的!!
4.生成視頻
全部參數設置好了之后,點擊“生成”,就可以生成視頻啦
七、制作網絡爆款視頻
我們平時在網上看到的視頻還會有一段開頭
然后再卡點變成AI生成的視頻
這個又要怎么做呢?
在剪映導入一段有趣的視頻
可以是自己拍的,也可以是網絡上的視頻
點擊選中視頻,找到想要截取的那一張照片
然后點擊工具欄里面的“幀定格”
這時候視頻后面就會多出一段定住的視頻
選中剛剛多出來的那一段定格視頻
點擊播放器的右上角的三條杠
點擊“導出靜幀照片”
這時候就會導出來一張照片
接下來就按照文章第七部分去生成出來一段視頻
等視頻生成之后,把這個視頻導入到剪映
把剛剛定格的那段視頻和后面那段刪掉,只保留開頭
把開頭和AI生成的視頻拼到一起
加上BGM
點擊右上角的“導出”保存視頻
八、知識補充
大家可以看到deforum里面還有很多參數是可以調整的
大部分和我們使用Stable Diffusion是一樣的(如果想詳細了解的可以去看SD的那篇文章)
我們直接照抄就行
1.采樣器
首先是采樣器,比較常用的就是圖片框起來那個
出圖質量比較高,而且速度也比較快
2.迭代步數
電腦配置稍微低一點的就設置在20~25
電腦配置比較好的就可以設置在25~30之間
但是不要超過30步,不然出視頻會很慢
3.視頻大小
這個寬度和高度是用來調整視頻大小的
寬度512*高度512出來的就是正方形的視頻
9:16的豎屏視頻可以設置成 寬度576*高度1024
16:9的橫屏視頻可以設置成 寬度1024*高度576
4.保存預設
大家可以看到deforum里面可以設置的參數很多
而且每一次重新打開SD都要重新去設置,非常麻煩
所以大家可以在第一次設置完參數之后,把它保存成預設
之后每一次要應用的時候就可以直接使用預設了
設置完參數之后,點擊右下角的“儲存設置”
然后點擊上面的文件夾圖標
在彈出的文件夾窗口就可以看到我們保存的預設
等到下一次需要用這個預設的時候
找到這個文件夾,鼠標右鍵點擊文件,然后復制文件地址
然后把地址粘貼到右下角的文本框
點擊“載入所有設置”
這樣我們的參數就會自動填充上去啦!
九、結尾
好了,以上就是我們這篇文章的全部內容
模型、預設點擊鏈接獲取
鏈接: https://pan.baidu.com/s/1sxJLfx-9ldvDWIGQyV06bQ?pwd=b66n
提取碼: b66n?