本文記錄講解AI畫圖工具Stable Diffusion web UI的部分基本使用方法,以便進行學習。AI畫圖Stable Diffusion web UI學習筆記分為上、中、下三篇文章。
我在?AI畫圖Stable Diffusion web UI學習筆記(上)_webui-CSDN博客?這篇文章中介紹了Stable Diffusion基礎使用。
在本文中,我將繼續記錄如何使用Stable Diffusion進行畫圖。
我將以貼合畫圖實際運用的方式記錄學習筆記。
通過一件件實際畫圖事項例子,對Stable Diffusion進行講解學習,避免大家覺得單講操作枯燥。
大家可對照目錄,跳轉查看自己關心的內容。
目錄
一、要生成高清大圖
(一)安裝TiledDiffusion with Tiled VAE
(二)使用高分辨率修復 (Hires. fix)
(三)使用Tiled Diffusion
(四)使用Tiled VAE
(五)生成高清大圖
二、將現有的圖片放大
(一)將要放大的圖片導入到圖生圖模塊
(二)使用Tiled Diffusion
(三)使用Tiled VAE
(三)生成放大后的圖片
三、真人轉二次元、二次元轉真人
(一)使用WD 1.4標簽器反推圖片提示詞
(二)使用圖生圖
(三)使用ControlNet Lineart、ControlNet Tile
四、修改現有圖片中局部內容
(一)使用圖生圖局部重繪
(二)使用ControlNet局部重繪
(三)生成修改后的圖片
一、要生成高清大圖
用到的內容:高分辨率修復 (Hires. fix)、Tiled Diffusion、Tiled VAE
在進行畫圖時,圖片的尺寸一般設置為512*512、512*768、768*512。
如果設置過大,比如1920*1080,畫圖時硬件跟不上則容易跑崩了。
生成的圖像不清晰,放大是模糊的。
要生成高清大圖,可以使用 高分辨率修復+Tiled Diffusion+Tiled VAE。
(一)安裝TiledDiffusion with Tiled VAE
首先,如果你沒有Tiled Diffusion、Tiled VAE這兩個擴展的話,要進行安裝。
有的話就不用安裝了。
在擴展里搜索安裝?TiledDiffusion with Tiled VAE 即可。
安裝完之后在畫圖界面會出現這兩個選項,將其啟用。
(二)使用高分辨率修復 (Hires. fix)
高分辨率修復這塊內容在我的?AI畫圖Stable Diffusion web UI學習筆記(上)_webui-CSDN博客?里有講述。
這里不再重復介紹。
(三)使用Tiled Diffusion
在這個模塊中,首先建議不要勾選覆蓋圖像尺寸、將 ControlNet 張量移至 CPU (如果適用)這兩個選項。
其次潛空間分塊重疊設置為潛空間分塊寬度的一半。
例如潛空間分塊寬度為96,潛空間分塊重疊設置為48。
例如潛空間分塊寬度為64,潛空間分塊重疊設置為32。
(96*8=768、64*8=512)
其他參數可以使用默認。
(四)使用Tiled VAE
在這個模塊中,首先建議勾選將VAE移動到GPU (如果允許)。
其次如果自身畫圖吃力,可以將解碼器分塊大小調整至64。
其他參數可以使用默認。
(五)生成高清大圖
安裝擴展、調整完上述模塊內容后,即可開始畫高清大圖了。
如上圖所示,選擇模型,輸入提示詞。
如上圖所示,選好采樣方法、迭代步數、高清分辨率修復放大算法等參數。
如上圖所示,調整好Tiled Diffusion、Tiled VAE模塊參數。
點擊右上角生成按鈕開始生成圖片。
生成的圖片如上圖所示。
二、將現有的圖片放大
用到的內容:圖生圖、Tiled Diffusion、Tiled VAE
假設我有一張圖,分辨率是640*400,圖片如下。
現在我要將圖片放大4倍,分辨率為2560*1600,作為電腦桌面壁紙。
(一)將要放大的圖片導入到圖生圖模塊
首先選擇上方圖生圖。
然后在下方圖生圖將要放大的圖片導入進去。
(二)使用Tiled Diffusion
在這個模塊中,首先不要勾選覆蓋圖像尺寸、將 ControlNet 張量移至 CPU (如果適用)這兩個選項。
然后選擇放大算法和放大倍數,其中放大算法的選擇在我的?AI畫圖Stable Diffusion web UI學習筆記(上)_webui-CSDN博客?這篇文章中高分辨率修復 (Hires. fix)有提到,放大倍數就是把原圖放大多少倍。
最后建議勾選啟用噪聲反轉,反轉步數開到30。
其他參數可以使用默認。
(三)使用Tiled VAE
在這個模塊中,首先建議勾選將VAE移動到GPU (如果允許)。
其次如果自身畫圖吃力,可以將解碼器分塊大小調整至64。
其他參數可以使用默認。
(三)生成放大后的圖片
上述操作完成后,點擊右上邊的生成按鈕坐等出圖,生成的圖如下。
查看圖片分辨率為2560*1600,滿足我的要求。
三、真人轉二次元、二次元轉真人
用到的內容:WD 1.4標簽器、圖生圖、ControlNet Lineart 或ControlNet Tile
假設我有張圖片,圖片如下。
現在我要將這張圖片轉為二次元圖片。
(一)使用WD 1.4標簽器反推圖片提示詞
首先點擊WD 1.4標簽器這個擴展,在右上方。
然后將圖片放進去,點擊反推,推出圖片的提示詞。
點擊發送到圖生圖。然后對提示詞進行調整,將不對的提示詞刪除。
(二)使用圖生圖
使用圖生圖,選擇繪畫二次元動漫的大模型,將這張圖片導入。
之后調整參數,注意圖片尺寸要和導入的原圖一樣。
(三)使用ControlNet Lineart、ControlNet Tile
接下來可以只使用ControlNet Lineart,也可只使用ControlNet Tile,或者兩個都同時使用。
這些操作都是可以的。
例如使用ControlNet Lineart線稿模式。
例如使用ControlNet Tile模式。
注意控制權重不要特別低,也不要特別高,個人覺得0.5合適。
例如ControlNet Lineart和ControlNet Tile都使用。
大家自行選擇使用,反正哪個感覺生成的圖片效果好就用哪個。
最后,點擊右上邊的生成按鈕坐等出圖,生成的圖如下。
二次元轉真人的操作和這個是一樣的。
例如,我從百度圖片上找到一張《崩壞:星穹鐵道》遐蝶的圖片。
然后進行二次元轉真人。
使用的是ControlNet Lineart。
四、修改現有圖片中局部內容
用到的內容:圖生圖局部重繪、ControlNet局部重繪
(一)使用圖生圖局部重繪
首先在最上方選擇圖生圖。
然后下面選擇局部重繪。
將要修改的圖片放入。例如現在我修改的圖片如下。
假設我要將圖片女生短褲改為裙子,在局部重繪中涂抹短褲區域。
之后選擇重繪區域僅蒙版區域,圖片尺寸和原圖一樣。
(二)使用ControlNet局部重繪
點擊下方ControlNet插件,點擊啟用和完美像素模式,并選擇inpaint局部重繪。
(三)生成修改后的圖片
之后就基本操作完了,點擊右上邊的生成按鈕坐等出圖,生成的圖如下。
如果想要改變圖中比如上衣,或者戴個項鏈等,操作與此相同。
暫時只想到這些實際畫圖事項例子,如果后續有遇到或者想到,就在此文添加編寫。