教程簡述
在本教程中,您將學習在阿里云交互式建模平臺PAI-DSW x Free Prompt Editing(CVPR2024中選論文算法)圖像編輯算法,開發個人AIGC繪圖小助理,實現文本驅動的圖像編輯功能單卡即可完成AIGC圖片風格變化、背景變化和主體變化等功能。讓我們一同開啟這場旅程,為您的圖像編輯添上無限可能性的翅膀吧。FreePromptEditing是一個基于文本驅動的Stable Diffusion圖像編輯算法,用戶可以直接通過輸入Edit Prompt對生成圖像或者真實圖像進行編輯。本教程使用Free Prompt Editing圖像編輯算法,實現的圖片風格變化對比:
基于本教程可以體驗:👍新用戶可免費領取價值萬元的人工智能平臺PAI試用資源👍 學會如何快速在阿里云上創建一個交互式訓練開發環境👍 學會如何在DSW中編譯代碼、啟動WebUI👍 學會如何在DSW開發個人AIGC繪圖小助理
答疑交流群
如需技術支持,請在釘釘搜索群號「 52485000325」,加入群聊
使用 PAI-DSW 開發AIGC繪圖小助理
1.準備環境和資源
1.1 領取交互式建模PAI-DSW免費試用權益
前往活動頁面,領取交互式建模PAI-DSW產品免費試用資源包
-
對于交互式建模 PAI-DSW 的新用戶,阿里云提供了5000CUH 的免費試用資源,可以在活動頁面中直接領取(試用規則請參照阿里云免費試用:https://free.aliyun.com/);或可以購買交互式建模 PAI-DSW 資源包參與活動,購買鏈接:PAI-DSW 100CUH資源包,價格 59 元起;如不購買資源包,PAI-DSW 會按量進行計費,計費標準詳見阿里云產品定價。
1.2 創建PAI-DSW實例
-
前往人工智能平臺PAI控制臺,鏈接:阿里云登錄 - 歡迎登錄阿里云,安全穩定的云計算服務平臺
-
開通人工智能PAI并創建默認工作空間。請參見開通并創建默認工作空間。
-
在人工智能平臺PAI控制臺內,選擇交互式建模PAI-DSW
-
點擊新建實例(如上圖)
-
自定義輸入實例名稱(如下圖)
-
選擇實例機型,GPU推薦使用A10或者V100(16GB)及以上配置,GPU分類-ecs.gn6v-c8g1.2xlarge(支持資源包抵扣),若無此機型庫存可更換地域嘗試;
-
選擇鏡像:pytorch-develop:1.12-gpu-py39-cu113-ubuntu20.04
-
點擊“下一步”
-
確認【資源配置】及【鏡像】如圖所示,點擊創建實例;
-
約等到3-5分鐘,實例狀態變為「運行中」,實例創建完成;
1.3 在DSW中打開教程文件
-
單擊需要打開的實例操作列下的打開,進入PAI-DSW實例開發環境。
-
在Notebook頁簽的Launcher頁面,單擊前往瀏覽 Gallery,打開Gallery頁面
-
在DSW Gallery頁面中,搜索并找到AI美術師:圖像編輯的無限可能教程,單擊教程卡片中的在DSW中打開。
-
完成以上步驟,順利打開AI美術師:圖像編輯的無限可能Notebook最佳實踐
1.4 運行教程文件
-
您可以直接看到教程文本,您可以在教程文件中直接運行每個代碼片段。當成功運行結束一個步驟命令后,再順次運行下個步驟的命令。
-
本教程一共3個運行步驟:
-
準備工做
-
下載和安裝環境
-
運行WebUI
-
當第3步運行WebUI運行完成后,在返回的運行詳情結果中單擊URL鏈接,進入WebUI頁面。請發揮你的創意,生成您想要得到的圖像吧!
2.完成部署,開始體驗AI圖像編輯的無限可能
運行成功后打開鏈接,請發揮你的創意,修改您想要得到的圖像吧!WebUI 界面可調參數說明-- Attention map Replacing Scale ratio of Editing 取值0.0-1.0,越大保留原圖細節越多,建議值0.4-0.8-- DDIM Steps 去噪步數-- Layers to Edit 編輯的層數,建議值 32,16-- Image Resolution 圖像分辨率,建議值512-- CFG Scale 文本提示控制強度,建議值 7.5-- Seed 隨機種子我們已經在WebUI 預置了上述的可調參數,并提供了示例圖像,編輯文本,以及負文本,您可以直接點擊一鍵運行。
2.1 進入WebUI界面
點擊運行,稍等片刻后,在下方區域會輸出原圖像和編輯結果圖像。
2.2 更改圖像背景
可以看到,基于FreePromptEditing,算法很好地理解了輸入的編輯指導文本,將圖像的背景轉移到了森林中。Edit Prompt(編輯文本):a Chinese building on the forestNegative Prompt(負文本): nsfw, worst quality, low quality, normal quality, lowres, watermark
您也可以將示例的建筑搬到紐約,示例如下:Edit Prompt(編輯文本):a Chinese building in New York CityNegative Prompt(負文本): nsfw, worst quality, low quality, normal quality, lowres, watermark
2.3 更改圖像風格
除了使用修改之外,我們也可以隨意發揮想象力,通過設計編輯提示詞,來改變原圖的圖像風格。下面展示些創意示例,僅僅修改了提示詞,其他配置參數跟上文一致.編輯文本:a kids drawing of a cat (兒童畫的一只貓)
編輯文本:Van Gogh style architectural picture (梵高風格建筑圖片)
成為無拘無束的創意畫師,讓您的幻想遨游色彩的世界,現在就啟程,為您的圖像添加無限的可能吧。
?? 您可以自由發揮AI繪畫新創作,本次活動要求:任意上傳一張照片,變為梵高風格,并分享前后對比圖。🎁🎁作品完成上傳活動頁面,邀請好友一起參與活動,有機會贏取小度智能屏X9、米家小白攝像頭、天貓魔投等好禮
3.資源清理及后續
3.1 清理
-
在實驗完成后,可前往對應產品控制臺,停止或刪除實例(兩個操作均可),避免實例持續處于運行中,在超出免費試用額度后,帶來額外的扣費;
-
后續仍考慮使用該實例>>停止;后續不再使用該實例>>刪除,成功停止后即停止資源消耗。
3.2 后續
在試用有效期期間,您還可以繼續使用DSW實例進行模型訓練和推理驗證。