一、介紹
ComfyUI?是一個強大的、模塊化的?Stable Diffusion
?界面與后端項目。該用戶界面將允許用戶使用基于圖形/節點/流程圖的界面設計和執行高級穩定的擴散管道。
關于 FLUX.1 Kontext Dev
FLUX.1 Kontext 是 Black Forest Labs 最新推出的突破性多模態圖像編輯模型,支持文本和圖像同步輸入,智能理解圖像上下文并執行精確編輯。其開發版本為開源的 120 億參數擴散 transformer 模型,具有出色的上下文理解和字符一致性維護能力,確保角色特征、構圖布局等關鍵要素即使經過多次迭代編輯也能保持穩定。
該模型以120億參數和角色一致性媲美GPT-4o,宣告圖像生成工具的新的變革。
它與 FLUX.1 Kontext 套件具有相同的核心功能:
- 字符一致性:在多個場景和環境的圖像中保留唯一元素,例如圖像中的引用字符或對象。
- 編輯:對圖像中的特定元素進行有針對性的修改,而不會影響其他部分。
- 樣式參考:生成新穎的場景,同時根據文本提示保留參考圖像的獨特樣式。
- 交互速度:圖像生成和編輯的延遲最小。
雖然之前發布的 API 版本提供了最高的保真度和速度,但 FLUX.1 Kontext [Dev] 完全在本地計算機上運行,為希望進行實驗的開發人員、研究人員和高級用戶提供了無與倫比的靈活性。
二、容器構建說明
1. 部署ComfyUI
(1)使用命令克隆ComfyUI
git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI
(2)安裝 conda(如已安裝則跳過)
下面需要使用 Anaconda 或 Mimiconda 創建虛擬環境,可以輸入?conda --version
?進行檢。下面是 Mimiconda 的安裝過程:
- 下載 Miniconda 安裝腳本
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
- 運行安裝腳本
bash Miniconda3-latest-Linux-x86_64.sh
- 遵循安裝提示并初始化
按 Enter 鍵查看許可證條款,閱讀完畢后輸入?yes
?接受條款,安裝完成后,腳本會詢問是否初始化 Conda 環境,輸入?yes
?并按 Enter 鍵。
- 運行?
source ~/.bashrc
?命令激活 Conda 環境 - 再次輸入?
conda --version
?命令來驗證時候安裝成功,如果出現類似?conda 4.10.3
?這樣的輸出就成功了。
(3)創建虛擬環境
輸入下面命令:
conda create -n comfyui
conda activate comfyui
(4)安裝pytorch
pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu121
(5)安裝項目依賴:
pip install -r requirements.txt
此時所需環境就已經搭建完成,通過下面命令進行啟動:
python main.py
訪問網址得到類似下圖界面即表示成功:
2. 下載模型
(1)如:下載模型
模型的版本及下載鏈接如下:
Flux.1 Kontext Dev 原始模型權重及社區版本
Black Forest Labs原始版本:flux1-kontext-dev.safetensors
ComfyOrg 提供的 FP8 版本:flux1-dev-kontext_fp8_scaled.safetensors
社區 GGUF 版本:FLUX.1-Kontext-dev-GGUF
Flux.1 Kontext Dev 不同版本模型模型效果及顯存要求對比
從上面的結果中我提供不同顯存占用的參考數據,這些輸出結果除了模型版本之外之外其它參數都是一致的,對應顯存數據是在 A100 40GB上運行的使用情況所以占用比會偏高,目前反饋在 4090 等顯卡上完整版本也可以運行,但是生成時間較慢
- 可以看到 fp8_scaled 損失結果較小
- GGUF 版本我選擇測試的版本質量有所損失,但對應的顯存要求也會降低。
Text Encoder
- clip_l.safetensors
- t5xxl_fp8_e4m3fn_scaled.safetensors?或者?t5xxl_fp16.safetensors
VAE - ae.safetensors
相關模型保存位置
├── 📂 models/
│ ├── 📂 diffusion_models/
│ │ └── flux1-dev-kontext_fp8_scaled.safetensors 或者 flux1-kontext-dev.safetensors
│ ├── 📂 unet/
│ │ └── 如 flux1-kontext-dev-Q4_K_M.gguf, # 僅在你需要使用 GGUF 版本時下載
│ ├── 📂 vae/
│ │ └── ae.safetensors
│ └── 📂 text_encoders/
│ ├── clip_l.safetensors
│ └── t5xxl_fp16.safetensors or t5xxl_fp8_e4m3fn_scaled.safetensors
(2)工作流
ComfyUI 的模板中已經為大家制作好了對應的模板,所以請在ComfyUI中找到 Flux.1 Kontext Dev 相關模板即可
?