Stable Diffusion 模型的概念、類型、下載、安裝、使用

本文收錄于《AI繪畫從入門到精通》專欄,專欄總目錄:點這里。

大家好,我是水滴~~

我們在《Stable Diffusion WebUI 界面介紹》 時,第一個就講到了 Stable Diffusion 模型,那么這個模型是什么?該從哪兒下載?下載后放到哪兒?該怎么使用呢?本篇文章將圍繞著這幾個問題來逐一講述。

文章目錄

  • 一、什么是模型
  • 二、大模型的類型
    • 2.1 基礎模型(Base Model)
    • 2.2 文件類型
  • 三、大模型在哪兒下載
    • 3.1 Civitai(C站)
    • 3.2 LiblibAI(哩布哩布AI)
  • 四、大模型放哪里
  • 五、使用大模型生成圖片


一、什么是模型

Stable Diffusion 是一種基于擴散過程的圖像生成模型,由 CompVis、Stability AI 和 LAION 共同開發。該模型通過模擬擴散過程,將噪聲圖像逐漸轉化為目標圖像,可以生成高質量、高分辨率的圖像。
Stable Diffusion 模型經過大量的圖文模型進行訓練,具有強大的生成能力,可以勝任多種風格,如寫實、原畫、2.5D等,并能實現頂級的光影效果和人物風景細節。

簡單來理解,Stable Diffusion 是經過訓練出來的,可以生成圖片的模型。人們可以針對性的來訓練某種風格的模型,所以我們會看到有很多種模型。我們想要生成什么風格類型的圖片,就選擇對應的模型。

模型是生成圖片的基礎,我們想要出什么圖,就選擇什么樣的模型,所以我們一般稱它為大模型底模型主模型

在下圖中有三種模型,每一種模型都有自己的風格:

在這里插入圖片描述

  • Dark Sushi Mix 大顆壽司Mix:動漫風格、2.5D
  • Disney Pixar Cartoon type B:3D 風格、迪士尼皮克斯動畫片
  • majicMIX realistic 麥橘寫實:寫實風格、亞洲人面孔

二、大模型的類型

2.1 基礎模型(Base Model)

Stable Diffusion 的基礎模型有很多版本,而使用最廣泛的是 SD1.5 和 SDXL(Stable Diffusion Extra Large),絕大部分模型都是基于這兩個版本來訓練出來的。

下面是這兩個版本的差異:

  • 圖像質量和生成速度:SDXL在圖像質量方面相對于SD 1.5有了顯著的提升。SDXL能夠生成更高質量的圖像,具有更強的細節和更真實的質感。此外,SDXL的生成速度也比SD 1.5更快,這得益于其更大的模型規模和更高效的計算資源利用。
  • 模型規模和訓練數據:SDXL是一個更大規模的模型,其參數數量比SD 1.5更多。這意味著SDXL能夠處理更復雜、更精細的圖像生成任務。同時,SDXL的訓練數據量也比SD 1.5更大,這有助于提高其生成圖像的多樣性和準確性。
  • 應用場景:由于SDXL在圖像質量和生成速度方面的優勢,它更適合用于需要高質量圖像生成的應用場景,如廣告、游戲設計、影視制作等。而SD 1.5則更適合用于一些對圖像質量要求不高、更注重生成速度的場景,如社交媒體分享、個人創作等。

2.2 文件類型

Stable Diffusion 模型的文件類型主要包括以下幾種:

  • .ckpt:這是 TensorFlow 和 PyTorch 等深度學習框架常用的模型檢查點(checkpoint)文件擴展名。它通常用于保存和加載模型在訓練過程中的權重和狀態。
  • .safetensors:這是一種特定的文件格式,用于保存模型的權重和參數。在某些情況下,Stable Diffusion模型可能會使用這種格式來存儲其模型文件。
  • .pt:這是PyTorch深度學習框架使用的模型文件擴展名。PyTorch是一個流行的深度學習框架,因此許多模型,包括Stable Diffusion,可能會使用這種格式來存儲模型文件。

在這幾種模型文件中,最常用的是 .ckpt.safetensors 兩種類型。
.safetensors 是 HuggingFace 推出的新的模型存儲格式。與 .ckpt 不同 .safetensors 格式不會包含執行代碼,因此不需要反序列化。這意味著加載模型時 .safetensors 會更快,也更安全。目前,.safetensors 已經成為主流的 Stable Diffusion 模型存儲格式。。

三、大模型在哪兒下載

那么在哪里可以下載我們想要的模型呢?這里給大家推薦兩個網站:

3.1 Civitai(C站)

Civitai(C站)是全球最大的 Stable Diffusion 模型的分享網站,用戶可以免費下載模型。C站的作者來自于全球各地,模型種類繁多,是 AI 繪畫愛好者的首選。

C站是國外網站,需要魔法才能打開。也可以關注我的專欄,我會定期分享 C站上優秀的模型。

在這里插入圖片描述

3.2 LiblibAI(哩布哩布AI)

LiblibAI(哩布哩布AI)是國內最大的 Stable Diffusion 模型的分享網站,上面大部分模型用戶可以免費下載。哩布哩布AI 上的模型中國元素居多,非常受國內愛好者的青睞。
在這里插入圖片描述

四、大模型放哪里

模型下載完后,通常是這樣子的:
在這里插入圖片描述

我們將它放到 Stable Diffusion WebUI 主目錄中的 \models\Stable-diffusion 目錄下:

在這里插入圖片描述

我們點擊模型列表右側的【刷新】按鈕,模型就會被加載到列表中:

在這里插入圖片描述

選擇模型,會有一個加載的過程,速度與磁盤有關,固態盤加載的會快一些:

在這里插入圖片描述

選擇好后,我們就可以使用它了:

在這里插入圖片描述

五、使用大模型生成圖片

選擇好模型后,輸入提示詞,我們先來輸入一個簡單的:a girl,表示生成一個女孩,然后點擊【生成】按鈕:

在這里插入圖片描述

生成需要一個過程(顯卡越好越快),右下角可以看到生成的過程和進度:

在這里插入圖片描述

生成結束后,就可以看到完整圖片了,點擊后可以放大:

在這里插入圖片描述

這樣,該模型的第一張圖就生成好了。

我們再來一張,這次提示詞增加了綠色頭發:a girl, green hair,表示生成一個綠頭發的女孩:
在這里插入圖片描述
生成的結果:

在這里插入圖片描述

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/697567.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/697567.shtml
英文地址,請注明出處:http://en.pswp.cn/news/697567.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

多輸入分類|GWO-CNN-LSTM|灰狼算法優化的卷積-長短期神經網絡分類預測(Matlab)

目錄 一、程序及算法內容介紹: 基本內容: 亮點與優勢: 二、實際運行效果: 三、算法介紹: 灰狼優化算法: 卷積神經網絡-長短期記憶網絡: 四、完整程序下載: 一、程序及算法內容…

【EI會議征稿通知】第五屆人工智能與機電自動化國際學術會議(AIEA 2024)

第五屆人工智能與機電自動化國際學術會議(AIEA 2024) 2024 5th International Conference on Artificial Intelligence and Electromechanical Automation 優秀評選已啟動,設置優秀論文、優秀報告及優秀海報多個獎項,豐厚獎金等…

【Java程序設計】【C00280】基于Springboot的校友社交系統(有論文)

基于Springboot的校友社交系統(有論文) 項目簡介項目簡介項目獲取開發環境項目技術運行截圖 項目簡介 項目簡介 這是一個基于Springboot的校友社交系統 本系統分為系統功能模塊、管理員功能模塊以及用戶功能模塊。 系統功能模塊:在系統首頁…

數據結構與算法——排序算法

目錄 文章目錄 前言 一.排序的基本概念 1.什么是就地排序 2.什么是內部排序和外部排序 3.什么是穩定排序 4.判定一個排序算法的是穩定的 二.插入排序算法 1.直接插入排序 1.1基本思想 1.2復雜度 1.3穩定性 1.4代碼演示 2.折半插入排序 2.1基本思想 2.2性能 3.…

vue實現遞歸組件

父組件&#xff1a; <Tree :data"data"></Tree> import Tree from "/components/Tree.vue"; const data reactive([{name: "1",checked: true,children: [{name: "1-1",checked: false,},],},&#xff09; 子組件&#…

若依logback日志配置采坑

問題描述 若依使用的appender過濾器是level&#xff0c;如下述代碼&#xff0c;這種過濾器只能導出級別為INFO的日志&#xff0c;warn和error都導出不出來。查詢不是很方便。 <!-- 系統日志輸出 --><appender name"file_info" class"ch.qos.logback.…

JAVA IDEA 項目打包為 jar 包詳解

前言 如下簡單 maven 項目&#xff0c;現在 maven 項目比較流行&#xff0c;你還沒用過就OUT了。需要打包jar 先設置&#xff1a;點擊 File > Project Structure > Artifacts > 點擊加號 > 選擇JAR > 選擇From modules with dependencies 一、將所有依賴和模…

VirtualBox+Vagrant快速搭建Centos7

目錄 安裝VirtualBox&#xff1a; 安裝Vagrant&#xff1a; 創建Vagrant項目目錄&#xff1a; 初始化Vagrant配置文件&#xff1a; 本地Vagrantfile中的鏡像名稱&#xff1a; 啟動虛擬機&#xff1a; SSH登錄虛擬機&#xff1a; 備注&#xff1a;安裝鏡像的另一種方式是…

springmvc+ssm+springboot房屋中介服務平臺的設計與實現 i174z

本論文擬采用計算機技術設計并開發的房屋中介服務平臺&#xff0c;主要是為用戶提供服務。使得用戶可以在系統上查看房屋出租、房屋出售、房屋求購、房屋求租&#xff0c;管理員對信息進行統一管理&#xff0c;與此同時可以篩選出符合的信息&#xff0c;給筆者提供更符合實際的…

Autodesk CAD如何建立圖層方框?

在AutoCAD中&#xff0c;要建立圖層方框&#xff08;Layer Box&#xff09;可以通過以下步驟實現&#xff1a; 打開圖層管理器&#xff1a; 在 AutoCAD 中&#xff0c;您可以通過輸入“LA”命令或在菜單欄中選擇“格式” > “圖層管理器”來打開圖層管理器對話框。 創建新圖…

記阿里云mysql丟表丟數據的實踐記錄

第一時間掛工單&#xff0c;聯系工程師指引&#xff0c;現在回過來想&#xff0c;第一時間要確認發生時間。 1.通過性能視圖&#xff08;馬后炮的總結&#xff0c;實際憑記憶恢復了三四次才找到數據&#xff09; 2.先恢復數據 通過Navicat工具&#xff0c;結構同步&#xff0…

解決IntelliJ IDEA 2023版本創建Spring項目時Java只能選擇17或21的問題

問題描述&#xff1a; 當使用IntelliJ IDEA2023版本中Spring Initializr新建Spring項目時&#xff0c;即使JDK配置項為1.8&#xff0c;Java配置項仍然只能選17或21. 在JDK為1.8版本情況下&#xff0c;Java選擇17或21&#xff0c;點擊NEXT按鈕&#xff0c;則會彈窗提示SDK不支持…

Sora: 開啟AI視頻創作的新紀元

隨著人工智能技術的飛速進步&#xff0c;AI視頻模型已迅速成為科技界的新焦點。在這股創新浪潮中&#xff0c;OpenAI推出的Sora&#xff0c;不僅以其前所未有的性能吸引了全球的目光&#xff0c;更以前瞻性的技術定義了AI視頻領域的未來。Sora不僅是一個里程碑式的產品&#xf…

java面試題之SpringMVC篇

Spring MVC的工作原理 Spring MVC的工作原理如下&#xff1a; DispatcherServlet 接收用戶的請求找到用于處理request的 handler 和 Interceptors&#xff0c;構造成 HandlerExecutionChain 執行鏈找到 handler 相對應的 HandlerAdapter執行所有注冊攔截器的preHandler方法調…

音視頻面試題集錦

下面是音視頻開發面試題精選&#xff1a; 1、談談 iOS 音視頻采集相關接口和數據結構的設計&#xff1f;2、如何降低處理音視頻鏈路中的內存峰值&#xff1f;3、OpenGL 如何實現二分屏效果&#xff1f;4、使用 OpenGL 繪制時對于二維坐標需要注意什么&#xff1f; 1、談談 iO…

Vue中如何使用dayjs

Day.js中文網Day.js是一個極簡的JavaScript庫&#xff0c;可以為現代瀏覽器解析、驗證、操作和顯示日期和時間。https://dayjs.fenxianglu.cn/ 單位不區別大小寫&#xff0c;支持復數和縮寫形式 單位縮寫描述 date D日期 [1,31]dayd星期 [0,6]&#xff08;星期日0&#xff0c…

云計算面試題【后期】

前言&#xff1a; 隨著年齡的增長生活瑣碎的事情、煩心的事情日漸增多&#xff0c;怠慢了更新&#xff0c; 1.什么是數據庫 DB.DataBase 數據庫&#xff1a; 依照某種數據模型進行組織并存放到存儲器的數據集合 DBMS.DataBase Management System – 數據庫管理系統&#xff1a;…

Java MP3轉PCM

Java MP3轉PCM 1 添加依賴2 Java 代碼 1 添加依賴 <dependency><groupId>com.googlecode.soundlibs</groupId><artifactId>mp3spi</artifactId><version>1.9.5.4</version> </dependency>2 Java 代碼 package com.xu.music.…

迪蕭科技有限公司邀您參觀2024生物發酵展

參展企業介紹 浙江迪蕭科技有限公司位于浙江杭州&#xff0c;是一家專注于膜技術的國家高新企業。公司針對食品飲料、醫藥保健等領域的過程分離與控制、產品提取及濃縮、廢料資源化利用等提供全方案解決服務。堅持以“顧客至上、優質服務、卓越品質”為原則。為客戶企業提供清…

視頻批量瘦身:一鍵縮小尺寸,輕松處理海量視頻

在如今視頻內容爆炸的時代&#xff0c;無論是個人創作者還是企業團隊&#xff0c;都面臨著處理大量視頻的需求。而視頻尺寸過大往往會導致上傳緩慢、存儲空間不足等問題。為了解決這個問題&#xff0c;我們推出了一款強大的視頻批量剪輯工具&#xff0c;讓你輕松實現視頻尺寸批…