AI繪畫Stable Diffusion 新手入門教程：萬字長文解析Lora模型的使用，快速上手Lora模型！

大家好，我是設計師阿威

今天給大家講解一下AI繪畫Stable Diffusion 中的一個重要模型—Lora模型，如果還有小伙伴沒有SD安裝包的，可以看我往期入門教程2024最新超強AI繪畫Stable Diffusion整合包安裝教程，零基礎入門必備！，安裝包下載請看文末免費獲取哦

LoRA（Low-Rank Adaptation） 是一種優化生成圖像的方法。它可以讓圖像生成模型在保持高質量的前提下，變得更高效、更快速。

它主要用于大規模預訓練模型的微調。通過將權重矩陣分解為低秩矩陣，從而減少訓練參數，降低計算開銷。LoRA在保持模型性能的前提下，能夠快速適應新的任務或數據集。LoRA通過結合Checkpoints一起使用，實現對大模型生成效果的細節上的修正。

在Stable Diffusion中，LoRA模型可以讓AI針對更具體的形象、特征來生成圖片，同時簡化了生成圖片的步驟，讓整個過程變得更加具體和便捷。

LoRA的作用：

精準生圖： LoRA可以讓圖像特征生成得更為精準，雖然不如Embeddings那樣輕巧，但卻可以更具象化的生成你想要的目標人物或特征。

應用場景：

目前LoRA常用于游戲、電影等應用場景的人物創造，可以通過大量的訓練來創造出特征鮮明的人物角色。

模型位置： LoRA模型放置于WebUI文件根目錄下Models文件夾內的LoRA文件夾內

在這里插入圖片描述

如何調用：

1.在提示詞中輸入 < lora:模型名稱 > 即可調用。例如：< lora:princess_xl_v2 >，也有一些LoRA有固定的觸發提示詞，具體可以參考各LoRA的說明文件。

在這里插入圖片描述

2.在提示詞下方的"擴展模型"菜單中點擊"Lora"，然后點擊你已安裝好并希望使用的LoRA模型即可。

3.附加網絡擴展：Additional Network。

在這里插入圖片描述

安裝完該插件后，我們復制一下我們的LoRA模型所在的目錄。

然后到"設置-Additional Network"菜單中，將我們LoRA模型所在目錄的地址粘貼到該位置并保存。

然后展開"Additional Network"菜單，刷新模型列表，就能勾選使用你需要的LoRA模型了。該方式支持最多同時使用5個Lora模型，并可以分別調節它們的參數，通過這種方式加載Lora模型，可以不用再在提示詞中加載Lora模型了，提示詞就會更清晰簡潔。

但通過這種方式生成的圖片信息中并不會顯示你所包含的Lora模型，所以如果你希望將生成圖片連同信息一同分享給別人的話，需要謹慎使用這種方式。

另外，該方式支持加載蒙版功能，可以使我們的LoRA特定在圖像中的局部生效。

感興趣的小伙伴，贈送全套AIGC學習資料，包含AI繪畫、AI人工智能等前沿科技教程和軟件工具，具體看這里。

LoRA的具體示例

我這里采用All Disney Princess XL 這款LoRA 結合一些二次元的大模型來生成迪士尼的人物形象。（模型下載請看文末掃描獲取哦）

該LoRA模型可以生成多個人物形象，我們在正向提示詞中加入< lora:princess_xl_v2:0.4 >（權重可以根據模型的說明文件來設定）觸發該模型并加入人物名稱elsa來生成愛莎公主的形象。（你也可以輸入其他形象名稱）

正向提示詞：cinematic photo casual elsa,lora:princess_xl_v2:0.4,35mm photograph,film,bokeh,professional,4k,highly detailed,

反向提示詞：drawing,painting,crayon,sketch,graphite,impressionist,noisy,blurry,soft,deformed,ugly,

LoRA的應用之人物形象

我們以Cosplay為例，我們可以利用LoRA來實現生成Cosplay的人物角色。以守望先鋒中的角色D.Va為例。

首先將原有的人物形象放入WD1.4標簽器中進行反推，然后發送至文生圖。

在反推出的提示詞的基礎上加上起手正向和反向提示詞，并選擇合適的二次元模型，我這里采用cetusMix模型。

正向提示詞：(masterpiece:1.2),best quality,masterpiece,highres,original,extremely detailed wallpaper,perfect lighting,(extremely detailed CG:1.2),drawing,paintbrush, 1girl,d.va (overwatch),solo,whisker markings,bodysuit,brown hair,long hair,breasts,facial mark,brown eyes,looking at viewer,smile,skin tight,headphones,medium breasts,covered navel,blue bodysuit,animal print,bangs,ribbed bodysuit,cowboy shot,pilot suit,lips,gradient background,facepaint,gradient,closed mouth,

反向提示詞：NSFW, (worst quality:2), (low quality:2), (normal quality:2), lowres,normal quality,((monochrome)), ((grayscale)), skin spots, acnes,skin blemishes, age spot, (ugly:1.331), (duplicate:1.331),(morbid:1.21),(mutilated:1.21), (tranny:1.331), mutated hands,(poorly drawn hands:1.5), blurry, (bad anatomy:1.21), (badproportions:1.331), extra limbs, (disfigured:1.331), (missingarms:1.331),(extra legs:1.331), (fused fingers:1.61051),(too many fingers:1.61051), (unclear eyes:1.331), lowers, bad hands,missing fingers, extra digit,bad hands, missing fingers, (((extraarms and legs)))

在這里插入圖片描述

然后在Additional Networks中啟用LoRA模型，選擇我的LoRA模型，并根據模型說明設置其最合適的權重。

點擊生成后，便會為我們生成一張擁有LoRA該模型特征的相似圖片。

在這里插入圖片描述

然后我們就要基于這個LoRA來生成我們的Cos風格圖片。

將模型改成真實系模型，我這里采用majicmix。然后將正向提示詞的起手式改成更符合真實系照片風格的提示詞。

正向提示詞：best quality,ultra-detailed,masterpiece,hires,8k,raw photo,(photorealistic:1.4)

生成真實系照片的時候建議勾選高分辨率修復。

點擊生成后，便會為我們生成一張擁有LoRA該模型特征的Cos風格真實系圖片。

當然，我們也可以利用圖生圖的方式來生成Cos風格真實系圖片。圖生圖的方式更容易生成和原畫相似的圖片。
在這里插入圖片描述

除了特定人物形象，有一些LoRA也可以生成某類的人物形象。

比如Fashin Girl、Cute Girl、Asian Male等，它由符合作者個人審美的大量人物照片訓練而成。

在你生成Cos風格真實系圖片的時候，加入這些元素的LoRA到Additional Networks中，權重不用過高，0.2-0.3即可，可以有效生成更符合大眾審美的人物面部。

LoRA的應用之畫風

LoRA也可以實現創作某一類畫風的人物形象。比如海賊王的動漫就具有明顯的特定畫風，我這里以這個One Piece的LoRA模型為例。

下載地址：https://civitai.com/models/4219?modelVersionId=6331
注意：如無法下載，請看文末掃描獲取哦

我希望以海賊王的動漫畫風來創造之前的D.Va人物角色。提示詞的寫法、Checkpoints模型選擇和之前一樣，這里我需要生成的是二次元風格圖片，就用二次元的起手式和大模型。

在Additional Networks中同時啟用畫風和人物的LoRA模型，畫風模型對畫面的風格影響較大，所以權重可以適當降低。

點擊生成，便能生成出該畫風下的人物風格圖片了。

感興趣的小伙伴，贈送全套AIGC學習資料，包含AI繪畫、AI人工智能等前沿科技教程和軟件工具，具體看這里。

LoRA的應用之概念

LoRA也可以實現創作某一類概念風格的圖片，我這里以犯罪嫌疑人的概念風格模型mugshot lora為例。

下載地址：https://civitai.com/models/17248/mugshot-lora (如無法下載，請看文末掃描獲取哦)

選擇一個二次元大模型，并輸入正向和反向提示詞，如果不知道具體提示詞是什么可以通過WD1.4標簽器對類似圖片進行反推獲得。

我這里還是打算用之前的D.Va角色來生成這個犯罪嫌疑人概念風格的圖片。

正向提示詞：(masterpiece:1.2),best quality,masterpiece,highres,original,extremely detailed wallpaper,perfect lighting,(extremely detailed CG:1.2),drawing,paintbrush, 1girl,d.va (overwatch),solo,(Holding a sign with both hands),looking at viewer,height chart,upper body,bangs,english text,whisker markings,bodysuit,brown hair,long hair,breasts,facial mark,brown eyes,looking at viewer,smile,skin tight,headphones,medium breasts,covered navel,blue bodysuit,animal print,bangs,ribbed bodysuit,cowboy shot,pilot suit,lips,facepaint,closed mouth,

反向提示詞：NSFW,(worst quality:2),(low quality:2),(normal quality:2),lowres,normal quality,((monochrome)),((grayscale)),skin spots,acnes,skin blemishes,age spot,(ugly:1.331),(duplicate:1.331),(morbid:1.21),(mutilated:1.21),(tranny:1.331),mutated hands,(poorly drawn hands:1.5),blurry,(bad anatomy:1.21),(badproportions:1.331),extra limbs,(disfigured:1.331),(missingarms:1.331),(extra legs:1.331),(fused fingers:1.61051),(too many fingers:1.61051),(unclear eyes:1.331),lowers,bad hands,missing fingers,extra digit,bad hands,missing fingers,(((extraarms and legs))),

然后在Additional Networks中啟動mugshot和D.Va這兩個LoRA模型，并設置好相應的權重。另外也建議勾選高分辨率修復選項。

點擊生成，便能生成該概念風格模型的D.Va圖片。

建議大家在使用的時候一定要看一下具體模型的說明，才能更準確地生成相應的圖片。

LoRA的應用之服飾

雖然我們可以在不使用LoRA，僅通過文字描述就能通過大模型來生成一些特定的服飾，但有很多特定、少見的服飾還是需要LoRA來生成。比如一些機甲類的服飾，基本上靠大模型的文字描述是不可能生成的。

我們以Mecha Armor LoRa這個模型為例。

下載地址： https://civitai.com/models/93045/mecha-armor-lora （如無法下載請看文末掃描獲取哦）

正向提示詞：1girl,red theme,mecha musume,robot joints,headgear,full armor,cowboy shot, cyberpunk,futuristic,robotic arms,mechanical parts,

反向提示詞：EasyNegative,(worst quality:1.4),(low quality:1.4),(normal quality:1.4),(female pubic hair:1.3)),lowres,penis,

【機甲類提示詞推薦：mecha, intricate mechanical bodvsuit, mecha corset, mechanical parts, robotic arms andlegs, headgear,caustics, reflection, ray tracing, demontheme, cyber effect, cyberpunk,science fiction】

模型的選擇可以根據你實際的需要選擇二次元或者真實系的模型。

在Additional Networks中，啟用你需要的LoRA模型，你可以同時啟用兩個不同的機甲類風格模型，根據權重的不同會生成更側重某個模型的組合風格，服裝類的LoRA模型權重值不宜過高，會容易產生只有衣服的圖片。

點擊生成，便可根據你LoRA權重的分配、大模型的選擇來生成不同風格的機甲服裝的圖片。

LoRA的應用之特定元素

這類的LoRA模型可以添加你需要的特定元素到你生成的圖像中，比如美食、玩具、工具、產品等。搜索關鍵字是：object。

比如Cyberhelmet這個LoRA，它專門用于生成帶有科幻頭盔和可穿戴設備風格的圖像。

我們可以通過圖生圖的方式將這個頭盔LoRA生成到我們之前生成的機甲少女上。

將之前的圖片導入到圖生圖中。

然后在正向提示詞中加入：

cyberhelmet,a white cyberhelmet,head,close-up,

在Additional Networks中在原本啟用的LoRA后再加入Cyberhelmet這個LoRA。

點擊生成，便能生成在原有基礎中增加頭盔的機甲少女角色了。

我們也可以用局部重繪的方式來更為精確地生成一張戴上科幻頭盔的機甲少女。

在局部重繪中導入該圖片，并將頭部區域涂抹，由于生成的頭盔本身就會比頭部大，所以建議可以多涂抹一些區域。

正向提示詞中只留下頭盔部分的提示詞。Additional Networks的設置和之前的方式一樣。

點擊生成，便能通過局部重繪的方式生成新的圖片了。

感興趣的小伙伴，贈送全套AIGC學習資料，包含AI繪畫、AI人工智能等前沿科技教程和軟件工具，具體看這里。

AIGC技術的未來發展前景廣闊，隨著人工智能技術的不斷發展，AIGC技術也將不斷提高。未來，AIGC技術將在游戲和計算領域得到更廣泛的應用，使游戲和計算系統具有更高效、更智能、更靈活的特性。同時，AIGC技術也將與人工智能技術緊密結合，在更多的領域得到廣泛應用，對程序員來說影響至關重要。未來，AIGC技術將繼續得到提高，同時也將與人工智能技術緊密結合，在更多的領域得到廣泛應用。
?
在這里插入圖片描述