01、引言
Stable Diffusion 在短短兩年內發布了多個版本。最著名的版本是 1.5 和 SDXL。不過,還有許多其他版本值得一提。讓我們一起來探索穩定擴散模型的起源和發展。
閑話少說,我們直接開始吧!
02、缺失的SD V1.0版本
Stable Diffusion 的最早版本是V1.1。它由 CompVis 發布,而非 Stability AI。有趣的是,穩定擴散從未有過 1.0 版本。最初的模型稱為 Latent Diffusion,由 CompVis 開發,包含文本到圖像和inpainting功能。這個模型基本上可以被視為穩定擴散 1.0。但當 Latent Diffusion 演變為 Stable Diffusion 后,就沒有再進行更新了。
03、SD V1.1 到 V1.4
2022 年 8 月,CompVis 相繼發布了四個版本的穩定擴散軟件。隨后的每個版本都增加了訓練步驟,從而提高了輸出質量。
-
SD V1.1: Stable Diffusion 1.1 以 256x256 分辨率訓練237,000 步,以 512x512 分辨率訓練 197,000 步。
-
SD V1.2: Stable Diffusion 1.2 使用 512x512 分辨率的 515,000 步,并使用 laion-improved-aesthetics 數據集。
-
SD V1.3: StableDiffusion1.3 在1.2的基礎上進行了改進,在512x512 分辨率下增加了195,000個步驟,文本調節減少了 10%。
-
SD V1.4: StableDiffusion1.4 同樣基于1.2,但以 512x512 分辨率和 laion-aesthetics v2 5+ 數據集進行了 225,000 步訓練,并減少了類似的文本調節。
04、SD V1.5
RunwayML 于 2022 年 10 月發布了穩定版 Diffusion 1.5,該版本成為最廣泛使用的微調版本。
SD V1.5該版本是 1.2 的增強版,使用 laion-aesthetics v2 5+ 數據集,以 512x512 分辨率訓練了 595,000 步。
05、SD V2.0
2022 年 11 月,Stability AI 發布了 Stable Diffusion 2.0,12 月又發布了 2.1。盡管規模更大,但這些模型的受歡迎程度不如 1.5,而且擴展支持有限。
-
SD V2.0: Stable Diffusion 2.0 最初在 256x256 分辨率下進行了 550,000 步訓練,隨后在 512x512 分辨率下進行了 850,000 步訓練,并在 768x768 分辨率下進一步微調了 150,000 步。
-
SD V2.1: Stable Diffusion 2.1 是 2.0 的微調版本,增加了 55000 個步驟和額外的 155000 個微調步驟。
06、Stable Diffusion XL
SDXL 于 2023 年 6 月發布,與之前的版本相比有了顯著改進。它在 256x256 分辨率下訓練了 600,000 步,在 512x512 分辨率下訓練了 200,000 步。SDXL 擅長生成高達 1024x1024 像素的圖像,并支持 LoRA 和 ControlNet。
-
SDXL V0.9 base/refiner: Stable Diffusion XL 0.9 基礎版/精調版與最終版本相比,圖像成像質量較低。
-
SDXL V1.0 base/refiner: Stable Diffusion XL 1.0 正式發布,具有卓越的文本理解和圖像生成功能。
-
SDXL V1.0 Beta 2.2.2: 此模型僅通過 Stability AI 開發者平臺的API接口獨家提供。請將 engine_id 設置為 stable-diffusion-xl-beta-v2-2-2,以便使用。該版本是 SDXL 模型的微調迭代版本,與前一版本相比具有更強的功能。
-
Stable Image Core: 該模型只能通過Stability AI開發者平臺上的 v2 應用程序接口訪問。根據官方文檔,它是 SDXL 的微調版本,旨在提高性能。
07、SD V1.6
Stable Diffusion 1.6 是一個相對陌生的版本,因為它不是一個開源模型。它于 2023 年 11 月在 Stability AI 開發者平臺發布。它只能通過 Stability AI 開發者平臺的 v1 API 使用(最新的 API 版本為 v2)。
- SD V1.6: Stable Diffusion 1.6 該版本是 Stable Diffusion 1.5 的微調升級版,據說比前一版本能生成更高質量的圖像。
08、SDXL Turbo
2023 年 11 月,SDXL Turbo 推出,利用潛在一致性模型(LCM)將生成步驟從通常的 30~40 步減少到 1~4 步。
-
SDXL Turbo: SDXL Turbo 使用逆向擴散蒸餾 (ADD) 技術來盡量減少生成步驟,但僅限于生成清晰度稍低的 512x512 圖像。
-
SD Turbo: Stable Diffusion 2.1 的 Turbo 版本,一直不太流行。
09、Stable Video Diffusion
Stability AI 公司于 2023 年 11 月推出了 SVD,可從單張圖像生成短動畫,且不會出現閃爍問題。
-
SVD: 穩定視頻擴散模型可用于制作14幀、576x1024 像素的動畫。
-
SVD-XT: 經過對SVD進行微調后的版本,能以相同的分辨率生成 25 幀動畫。
10、 Stable Zero 123
Stable Zero 123 于 2023 年 12 月發布,主要功能是通過單張圖像生成 3D 物體,并提供包括物體背面在內的多個視圖。
- Stable Zero123: Stable Zero123 在Zero123上進行訓練,與前代產品相比,效果有所改進。
11、Stable Diffusion Cascade
2024 年 2 月,Stability AI 推出了 Stable Diffusion Cascade,它采用三階段生成流程(ABC 階段),以更高的效率生成高質量圖像。
- SD Cascade: 穩定擴散級聯模型超越了 SDXL,具有更好的性能和多功能性,無需大量微調即可產生各種風格。
12、 SDXL Lightning
SDXL Lightning 緊隨 SDXL Turbo 之后推出,可提供更快的生成時間和高質量的結果,因其高效性而受到許多開發人員的青睞。
-
SDXL Lightning 結合SDXL和先進技術,以 1-8 個步驟提供圖像,并與 LoRA 和 Unet 集成以提高性能。
13、Stable Diffusion 3
Stable Diffusion 3 于 2024 年 2 月預覽,并于 2024 年 4 月通過 API 發布,于2024年6月開放開源模型。
-
SD3: Stable Diffusion 3 通過 Stability AI 開發者平臺的 API 提供。該型號在圖像質量方面超越了之前的所有版本,并具有強大的文本識別能力。它代表了 Stable Diffusion 系列的最新進展,為各種圖像生成任務提供了卓越的性能。
-
SD3 Turbo: StableDiffusion3 Turbo版本提供與Stable Diffusion3 相同的卓越功能,但圖像生成速度明顯更快。該版本專為那些需要在不影響 Stable Diffusion 3 所提供的高質量和強大文字識別能力的前提下快速獲得結果的用戶而設計。
14、Stable Video 3D
2024 年 3 月,Stable AI 公司推出了 Stable Video 3D,它能通過單張圖像制作 360 度可旋轉動畫。
- Stable Video 3D: 該模型可從靜態圖像生成 21 幀、576x576 像素的動畫,為動畫渲染提供了一個新的維度。
截至 2024 年 6 月,Stable Diffusion 已發布了 20 多個版本。每個版本都帶來了獨特的功能和改進,滿足了不同用戶的需求。你最喜歡哪個版本?
感興趣的小伙伴,贈送全套AIGC學習資料,包含AI繪畫、AI人工智能等前沿科技教程和軟件工具,具體看這里。
AIGC技術的未來發展前景廣闊,隨著人工智能技術的不斷發展,AIGC技術也將不斷提高。未來,AIGC技術將在游戲和計算領域得到更廣泛的應用,使游戲和計算系統具有更高效、更智能、更靈活的特性。同時,AIGC技術也將與人工智能技術緊密結合,在更多的領域得到廣泛應用,對程序員來說影響至關重要。未來,AIGC技術將繼續得到提高,同時也將與人工智能技術緊密結合,在更多的領域得到廣泛應用。
?
一、AIGC所有方向的學習路線
AIGC所有方向的技術點做的整理,形成各個領域的知識點匯總,它的用處就在于,你可以按照下面的知識點去找對應的學習資源,保證自己學得較為全面。
二、AIGC必備工具
工具都幫大家整理好了,安裝就可直接上手!
三、最新AIGC學習筆記
當我學到一定基礎,有自己的理解能力的時候,會去閱讀一些前輩整理的書籍或者手寫的筆記資料,這些筆記詳細記載了他們對一些技術點的理解,這些理解是比較獨到,可以學到不一樣的思路。
四、AIGC視頻教程合集
觀看全面零基礎學習視頻,看視頻學習是最快捷也是最有效果的方式,跟著視頻中老師的思路,從基礎到深入,還是很容易入門的。
五、實戰案例
紙上得來終覺淺,要學會跟著視頻一起敲,要動手實操,才能將自己的所學運用到實際當中去,這時候可以搞點實戰案例來學習。
