大家好，歡迎回到 Stable Diffusion入門-ControlNet 深入理解 系列的第四課！

如果你還沒有看過上一課，趕緊補課哦：Stable Diffusion入門-ControlNet 深入理解 第三課。

上一課我們講解了 ControlNet 結構類模型，今天我們繼續帶你了解 風格遷移類模型 和 重繪控制類模型，這兩種模型將幫助你在AI繪畫中自由玩轉“藝術創作”和“創意修圖”。

準備好了嗎？讓我們一起來揭開這些神奇的模型的面紗！

---

一、風格遷移類模型——讓AI學會“模仿大師”

風格遷移類模型的作用，就是讓AI學習一張參考圖的“風格”，然后將這種風格應用到你給定的新圖像上。

這就像是你給AI看了一幅蒙娜麗莎的畫，然后讓它根據蒙娜麗莎的風格去畫你的自拍。

是不是聽起來就很酷？

1. Shuffle洗牌——風格大變樣

Shuffle 算法的作用簡單來說就是“打亂”。

它通過打散參考圖的配色來獲取信息，并將這種風格應用到新的圖像上。

換句話說，AI會“模仿”你給它的參考圖的配色，但它并不會完全復制，而是給你一張“新”圖，保持了參考圖的色調，又不失原創感。

需要注意的是，這個 ControlNet 只對1.5模型有效，別忘了，隨著時間的推移，這個預處理器可能會被逐漸淘汰哦！

2. Instant-ID——讓面部特征完美遷移

Instant-ID 是由小紅書開發的面部特征遷移模型，它的厲害之處在于，它可以對面部特征進行精準的遷移，確保新的圖像能夠完美呈現出參考圖中的人物面部特點。

比如，你可以給AI看一張你朋友的照片，然后讓它畫出一張完全符合你朋友面部特征的新畫像。

這個模型的使用要求有點特殊：

• 只能在 SDXL 大模型中使用。
• 提示詞引導系數（CFG Scale）需要比通常的設置值低 3-5，否則可能會出現“涂抹感”很強的問題。
• 需要兩個 ControlNet 來配合使用，每個對應不同的面部特征處理。

3. IP-Adapter——騰訊的“黑科技”適配器

IP-Adapter 是騰訊實驗室發布的一個新適配器，它的主要作用是將輸入的圖像作為圖像提示詞進行風格遷移。

就像 MJ（MidJourney）的墊圖一樣，它能幫助AI學習參考圖的風格，然后把這些風格應用到你的圖像上。

這個適配器有多種預處理器，其中有些是專門用來換臉的——比如 face_id 系列，就能讓你給AI一張照片，然后生成一個類似面部特征的圖像。

需要注意的是：IP-Adapter 配合 Lora 使用時，必須確保 Lora 和 ControlNet 的模型一致，否則可能效果不理想。

4. Reference參考——讓AI學會“借鑒”

Reference 預處理器的強大之處在于，它可以根據給定的參考圖像的配色、色調、風格等，生成一張具有相同風格的新圖像。

不同的是，生成的圖像會在保持原圖風格的同時，產生一定的多樣性差異。

你可以使用 reference_adain 來生成二次元風格的圖像，或者使用 reference_only 來進行更通用的風格遷移。

如果你需要更復雜的風格遷移效果，可以選擇 Reference_adain+attn，它能夠生成更高級的特征轉換效果。

注意: reference只有預處理器，沒有模型:

---

二、重繪控制類模型——讓AI也能進行“創意修圖”

風格遷移讓AI模仿畫風，而 重繪控制類模型 則是讓AI進行圖像的“創意重繪”，無論是修圖、換背景，還是改變人物姿勢，這些都能通過重繪控制類模型來實現。

1. OpenPose-姿態——讓AI了解人物動作

在第一篇文章中，我們介紹過 OpenPose，它是用來控制人物姿勢和形態的模型。

通過 OpenPose，你可以讓AI精確地理解人物的動作，比如跳舞、跑步、擺姿勢等。

dw_openpose_full 是當前最強的預處理器之一，它是 OpenPose_full 的增強版，能夠讓AI識別并生成更加精細的人物姿勢。而 animal_openpose 甚至能夠識別動物的姿勢，真的是突破性進展！

2. Inpaint局部重繪——局部修圖，效果滿分

Inpaint 系列模型主要用于局部重繪，通常用于擴圖或者細節修復。

如果你有一張圖像想要擴展，或者其中某些部分需要進行修改，inpaint_only 可以幫助你在保留原圖內容的基礎上，生成新內容。

而 inpaint_only+lama 則可以徹底抹除原有內容后重新生成，非常干凈。

inpaint_global_harmonious 全局融合算法,因此會導致涂抹以外的區域也發生一些變化，并且整體畫面的顏色也會發生改變。

3. InstructP2P——指令式修圖

想讓一張圖片變成另一種完全不同的風格？比如說，“讓它變成火焰”？InstructP2P 就能實現這個夢想！通過這個模型，你可以給AI一個簡單的指令：“Make Y into X”，它會根據你的指令對圖像進行創意修改。

4. Recolor重上色——AI的“涂色書”功能

如果你已經有了一張圖，但想給它重新上色，Recolor 系列模型就派上用場了。

它可以調節圖像的亮度和強度，為圖像增加新的色彩效果。只要你告訴AI，你想要的色調是什么，它就能幫你把圖像重新上色，煥發新生。

5. Tile——給圖片加點“小細節”

Tile 模型的作用就是在保持圖片布局的基礎上，給圖片添加細節。

它經常用來進行高清修復、畫質提升，甚至可以用來轉換圖片風格，像是將真人照片轉為漫畫風格，或者做藝術字的設計。

• tile_resample(分塊-重采樣)：僅保持圖片布局，顏色會進行一些變化。（常用）

• tile_colorfix+sharp(分塊-固定顏色+銳化)：保持圖片布局的同時固定圖片的顏色，并做一些銳化

• tile_colorfix(分塊-固定顏色)：保持圖片布局的同時固定圖片的顏色

• blur_gaussian(模糊-高斯模糊)：主要用于調整景深用的

tile 突出用途之一是和tile_diffusion及tile_vae三者組合進行圖生圖放大，可以顯著提高運行效率及放大效果。

---

總結

今天，我們探討了 風格遷移類模型 和 重繪控制類模型，它們將讓你的創作更加自由、多樣。

從風格遷移到局部修圖，從姿態控制到圖像重上色，ControlNet 為AI繪畫提供了無盡的創意空間。

下一課，我們將深入探討 ControlNet 的其他高級應用，敬請期待！有任何問題或者想法，歡迎在評論區和我互動，我們下課見！