你有想過建一臺主機,又能AI聊天又能AI繪畫,還可以直接把聊天內容直接畫出來的機器嗎?
當Google最新的大語言模型Gemma碰到stable diffusion webui會怎么樣?
首先我們安裝stable diffusion webui(automatic1111開源項目)我安裝的是forge分支,可以參考我的另一篇文章。安裝完成后,簡單測試并調優,在啟動參數后加一個 --api 這樣可以支持外部api調用,同時加 --listen 用于遠程訪問(因為open-webui是docker方式的,不能直接訪問宿主)
然后安裝ollama及open-webui, 安裝方法參考我的另外一篇文章,安裝完成后,在open-webui界面中,settings設置中,找到images,把stable diffusion webui的主機地址及端口號填上去
stable diffusion的模型考慮用SD1.5或者SD2.1的,不要用SDXL的,size填512x512, steps填20 保存退出。
使用方法:
先聊天,英文不會的同學,第一句就寫 “中文”,然后AI語言就都是中文了。然后你就說一個大致想畫的東西,讓AI寫一段小作文。小作文有時是英文的,有時是中文的,你可以跟AI說 ”上文翻譯成中文“ ,然后點修改文字,修修補補,寫完后,保存,再跟AI說”上文翻譯成英文“ 再點擊?繪畫,等一下,圖就出來了。如果不滿意,可以多次點擊繪畫。就這么簡單了。
針對 40HX的提示:40hx顯存只有8G, 所以如果要AI語言與AI同時運行,需要對顯存與運行負載有規劃,SDXL模型與Gemma7b都是直接能把8G顯存點滿的,所以一個都不能用,SD2.1+Gemma2b 這樣的分配,大致是5G+2G的顯存組合,剛好能用。其它優化內容見我的另外二個貼子。