本文收錄于《AI繪畫從入門到精通》專欄,專欄總目錄:點這里。
大家好,我是水滴~~
我們在《Stable Diffusion WebUI 界面介紹》 時,第一個就講到了 Stable Diffusion 模型,那么這個模型是什么?該從哪兒下載?下載后放到哪兒?該怎么使用呢?本篇文章將圍繞著這幾個問題來逐一講述。
文章目錄
- 一、什么是模型
- 二、大模型的類型
- 2.1 基礎模型(Base Model)
- 2.2 文件類型
- 三、大模型在哪兒下載
- 3.1 Civitai(C站)
- 3.2 LiblibAI(哩布哩布AI)
- 四、大模型放哪里
- 五、使用大模型生成圖片
一、什么是模型
Stable Diffusion 是一種基于擴散過程的圖像生成模型,由 CompVis、Stability AI 和 LAION 共同開發。該模型通過模擬擴散過程,將噪聲圖像逐漸轉化為目標圖像,可以生成高質量、高分辨率的圖像。
Stable Diffusion 模型經過大量的圖文模型進行訓練,具有強大的生成能力,可以勝任多種風格,如寫實、原畫、2.5D等,并能實現頂級的光影效果和人物風景細節。
簡單來理解,Stable Diffusion 是經過訓練出來的,可以生成圖片的模型。人們可以針對性的來訓練某種風格的模型,所以我們會看到有很多種模型。我們想要生成什么風格類型的圖片,就選擇對應的模型。
模型是生成圖片的基礎,我們想要出什么圖,就選擇什么樣的模型,所以我們一般稱它為大模型、底模型、主模型。
在下圖中有三種模型,每一種模型都有自己的風格:
- Dark Sushi Mix 大顆壽司Mix:動漫風格、2.5D
- Disney Pixar Cartoon type B:3D 風格、迪士尼皮克斯動畫片
- majicMIX realistic 麥橘寫實:寫實風格、亞洲人面孔
二、大模型的類型
2.1 基礎模型(Base Model)
Stable Diffusion 的基礎模型有很多版本,而使用最廣泛的是 SD1.5 和 SDXL(Stable Diffusion Extra Large),絕大部分模型都是基于這兩個版本來訓練出來的。
下面是這兩個版本的差異:
- 圖像質量和生成速度:SDXL在圖像質量方面相對于SD 1.5有了顯著的提升。SDXL能夠生成更高質量的圖像,具有更強的細節和更真實的質感。此外,SDXL的生成速度也比SD 1.5更快,這得益于其更大的模型規模和更高效的計算資源利用。
- 模型規模和訓練數據:SDXL是一個更大規模的模型,其參數數量比SD 1.5更多。這意味著SDXL能夠處理更復雜、更精細的圖像生成任務。同時,SDXL的訓練數據量也比SD 1.5更大,這有助于提高其生成圖像的多樣性和準確性。
- 應用場景:由于SDXL在圖像質量和生成速度方面的優勢,它更適合用于需要高質量圖像生成的應用場景,如廣告、游戲設計、影視制作等。而SD 1.5則更適合用于一些對圖像質量要求不高、更注重生成速度的場景,如社交媒體分享、個人創作等。
2.2 文件類型
Stable Diffusion 模型的文件類型主要包括以下幾種:
- .ckpt:這是 TensorFlow 和 PyTorch 等深度學習框架常用的模型檢查點(checkpoint)文件擴展名。它通常用于保存和加載模型在訓練過程中的權重和狀態。
- .safetensors:這是一種特定的文件格式,用于保存模型的權重和參數。在某些情況下,Stable Diffusion模型可能會使用這種格式來存儲其模型文件。
- .pt:這是PyTorch深度學習框架使用的模型文件擴展名。PyTorch是一個流行的深度學習框架,因此許多模型,包括Stable Diffusion,可能會使用這種格式來存儲模型文件。
在這幾種模型文件中,最常用的是
.ckpt
和.safetensors
兩種類型。
.safetensors
是 HuggingFace 推出的新的模型存儲格式。與.ckpt
不同.safetensors
格式不會包含執行代碼,因此不需要反序列化。這意味著加載模型時.safetensors
會更快,也更安全。目前,.safetensors
已經成為主流的 Stable Diffusion 模型存儲格式。。
三、大模型在哪兒下載
那么在哪里可以下載我們想要的模型呢?這里給大家推薦兩個網站:
3.1 Civitai(C站)
Civitai(C站)是全球最大的 Stable Diffusion 模型的分享網站,用戶可以免費下載模型。C站的作者來自于全球各地,模型種類繁多,是 AI 繪畫愛好者的首選。
C站是國外網站,需要魔法才能打開。也可以關注我的專欄,我會定期分享 C站上優秀的模型。
3.2 LiblibAI(哩布哩布AI)
LiblibAI(哩布哩布AI)是國內最大的 Stable Diffusion 模型的分享網站,上面大部分模型用戶可以免費下載。哩布哩布AI 上的模型中國元素居多,非常受國內愛好者的青睞。
四、大模型放哪里
模型下載完后,通常是這樣子的:
我們將它放到 Stable Diffusion WebUI 主目錄中的 \models\Stable-diffusion
目錄下:
我們點擊模型列表右側的【刷新】按鈕,模型就會被加載到列表中:
選擇模型,會有一個加載的過程,速度與磁盤有關,固態盤加載的會快一些:
選擇好后,我們就可以使用它了:
五、使用大模型生成圖片
選擇好模型后,輸入提示詞,我們先來輸入一個簡單的:a girl
,表示生成一個女孩,然后點擊【生成】按鈕:
生成需要一個過程(顯卡越好越快),右下角可以看到生成的過程和進度:
生成結束后,就可以看到完整圖片了,點擊后可以放大:
這樣,該模型的第一張圖就生成好了。
我們再來一張,這次提示詞增加了綠色頭發:a girl, green hair
,表示生成一個綠頭發的女孩:
生成的結果: