LORA學習筆記2——訓練集處理

前言

對于ai訓練來說,處理訓練集是模型訓練的重要環節。訓練集的質量對最終模型的質量影響巨大。這里以二次元角色為例,記錄下訓練集處理的流程和一些心得。

素材準備

素材準備有以下幾個需要注意的點:

  1. 通常訓練二次元角色需要30張以上的圖片,訓練三次元角色需要50張以上的圖片。原因是三次元圖像里面包含的細節更多。
  2. 訓練集最關鍵的是“質”而不是“量”。單純堆圖片數量并不能保證好的訓練效果。
  3. 訓練集圖片需要保證圖片中僅包含訓練角色一個人物,其他人物需要裁剪掉。
  4. 訓練集圖片中人物盡可能包含不同的角度,動作,服飾,風格。
  5. 訓練集圖片中一些有負面影響的元素需要適當刪改掉,比如文字,水印等。不好處理可以涂抹掉。

素材裁剪

stable diffusion常用的模型是基于SD1.5的,建議尺寸不要高于768,不小于512。尺寸過大對于顯存的要求會很高。

素材裁剪可以使用【分割過大的圖像】,重疊比例可以適當調高,這樣裁剪出來的圖像更多,更適合挑選。

素材打標

素材打標通常是先自動打標,再根據一定的規則進行手動刪改。

自動打標

自動打標可以使用WD1.4反推工具。

簡單介紹WD1.4的用法

單次處理和批量處理的原理是一樣的。這里主要涉及兩個概念,反推模型與閾值。

反推模型:反推模型的作用是將一幅圖片的提示詞推理出來,推薦反推模型中的wd14-vit-v2-git、wd14-convnextv2-v2-git和wd14-swinv2-v2-git,其中wd14-vit-v2-git最快,wd14-swinv2-v2-git最準確。

閾值:低于閾值則刪除這個關鍵詞,三次元建議0.35,二次元動漫人物建議0.5。

標簽修改

自動打標的標簽可以直接使用,但是通常我們會基于自身需求對TAG做一些刪改。刪改的原則如下:

  1. 自動打標識別出的角色詞要刪除,比如“野比大雄”這種。保留自動打標的角色詞會導致生成圖片的時候,會觸發大模型(底模型)里的提示詞,進而調用大模型里面的特征。
  2. 不想讓模型訓練到的特征建議保留。比如一個角色在很多圖片里面都握著一把劍,但是我不想生成圖片時該角色默認擁有“持劍”的特征,所以,類似于“holding weapon”,“sword”這種提示詞建議保留。
  3. 希望讓模型訓練到的特征建議刪除。比如一個角色是黑頭發,戴著眼鏡。我希望生成圖片時該角色默認就是黑頭發和戴眼鏡,我不會調整他的發色或者不戴眼鏡。所以,“black hair”,“wearing glasses”這種提示詞建議刪除。當然這樣的操作有優點也有缺點。優點是減少了必要的提示詞數量;缺點是降低了模型的泛化性,在上文提到的場景中,如果我在生成圖片時額外設置提示詞“green hair”,可能效果不明顯,因為“黑頭發”這個特征已經被該模型學習到了。

標簽編輯器如上圖所示。在批量編輯描述中,可以選擇特定的TAG進行刪除。

比如這次訓練的一個角色,我將她的固有特征TAG進行刪除,這樣就可以讓模型學習到這些特征,比如“短發”,“獸耳”,“紅眼”。因為這些特征希望生成圖片時默認存在。

衣服,動作,表情之類的TAG全部進行了保留,這樣用提示詞為人物更換衣服,動作,表情效果會更明顯。

修改完后點擊保存所有更改,并在文件夾中刪除所有的過程文件即可。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/web/11003.shtml
繁體地址,請注明出處:http://hk.pswp.cn/web/11003.shtml
英文地址,請注明出處:http://en.pswp.cn/web/11003.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

14:HAL---CRC校驗

103系列只有一個CRC 前言: CRC(Cyclic Redundancy Check),即循環冗余校驗,是一種根據網絡數據包或電腦文件等數據產生簡短固定位數校核碼的快速算法,主要用來檢測或校核數據傳輸或者保存后可能出現的錯誤。…

QX---mini51單片機學習---(8)8*8點陣屏

目錄 1LED點陣屏簡紹 2 8*8點陣屏電路圖74 3 74HC595芯片 4實踐編程 1LED點陣屏簡紹 2 8*8點陣屏電路圖74 怎么點亮,正極給高負極給低 不能同時靜態顯示,跟數碼管動態顯示一樣,反復橫跳,利用視覺效果 3 74HC595芯片 …

斐波那契數

509. 斐波那契數 斐波那契數 (通常用 F(n) 表示)形成的序列稱為 斐波那契數列 。該數列由 0 和 1 開始,后面的每一項數字都是前面兩項數字的和。也就是: F(0) 0,F(1) 1 F(n) F(n - 1) F(n - 2),其中 …

第四屆上海理工大學程序設計全國挑戰賽---昨日方舟

知識點:模擬 題目描述 《昨日方舟》是一款塔防類游戲。在游戲中,我們要通過部署角色來抵御怪物的入侵。在這款游戲中,有一名角色名字為 “今”,他的能力為能夠在地圖上部署小蛇,小蛇在某些條件下可以與其他小蛇合體…

關于 IIS 開啟匿名訪問網站仍要賬號密碼登錄網站的解決方法

歡迎關注公總號【云邊小網安】 問題提出:發現雖然勾選了允許匿名訪問網站,但在訪問某一網站的時候仍然需要登錄賬號密碼 解決方法一:登錄管理員賬號密碼解決方法二:添加訪問網站文件夾的用戶 訪問某一網站本質上來講&#xff0…

C++入門必讀-Qt的安裝與配置

QT簡介 Qt是一個跨平臺的C圖形用戶界面應用程序框架。它為應用程序開發者提供建立圖形界面所需的所有功能。它是完全面向對象的,很容易擴展,并且允許真正的組件編程。 QT下載 訪問下載網站: Index of /archive/qt 安裝編譯器 QT安裝 建議安裝之前將網絡斷…

1064 朋友數

solution 給出n個整數&#xff0c;統計可能的位數和&#xff0c;并按升序輸出&#xff08;考慮用set實現&#xff09; #include<iostream> #include<set> using namespace std; int main(){set<int> st;int n, x, sum;scanf("%d", &n);while…

前端Vue架構

1 理解&#xff1a; 創建視圖的函數&#xff08;render&#xff09;和數據之間的關聯&#xff1b; 當數據發生變化的時候&#xff0c;希望render重新執行&#xff1b; 監聽數據的讀取和修改&#xff1b; defineProperty&#xff1a;監聽范圍比較窄&#xff0c;只能通過屬性描…

Docker 直接運行一個 Alpine 鏡像

由于鏡像很小&#xff0c;下載時間往往很短&#xff0c;讀者可以直接使用 docker run 指令直接運行一個 Alpine 容器&#xff0c;并指定運行的 Linux 指令&#xff0c;例如&#xff1a; PS C:\Users\yhu> docker run alpine echo 123 Unable to find image alpine:latest lo…

Commit failed (details follow):is out of date

Commit failed (details follow):is out of date 關于SVN提交時報out-of-date錯誤的解決方法 提交項目文件時&#xff0c;報如下的信息&#xff1a; Item is out-of-date svn: Commit failed (details follow): svn: Item ‘/xxx/xxx/xxx/xxx/xxx/xxx’ is out of date 原因&…

手寫Spring5【筆記】

Spring5【筆記】 前言前言推薦Spring5【筆記】1介紹2手寫 最后 前言 這是陳舊已久的草稿2022-12-01 23:32:59 這個是刷B站的時候&#xff0c;看到一個手寫Spring的課程。 最后我自己好像運行不了&#xff0c;就沒寫。 現在2024-5-12 22:22:46&#xff0c;發布到[筆記]專欄中…

隊列(詳解)

一.隊列的概念 隊列&#xff08;Queue&#xff09;是一種常見的數據結構&#xff0c;它按照先進先出的原則管理數據。這意味著最先進入隊列的元素將被最先移出隊列&#xff0c;類似于現實生活中排隊的場景。 在隊列中&#xff0c;數據項被添加到隊列的一端&#xff0c;稱為隊尾…

cmu15445 2023fall project3 詳細過程(下)QUERY EXECUTION

QUERY EXECUTION task3/task4 Task #3 - HashJoin Executor and Optimization1、HashJoin1.1 思路1.2 代碼 2 NestedLoopJoin優化為HashJoin2.1 思路2.2 代碼 Task #4 Sort Limit Executors Top-N Optimization Window Functions1、Sort1.1 思路1.2 代碼 2、Limit Executors2…

數據可視化第五天(讀取文件獲得男生女生身高信息,并且可視化在一個圖像)

文件 需要學生文件的可以私信我 過程 利用numpy的loadtxt文件讀取學號&#xff0c;性別&#xff0c;和身高。 import numpy as np import matplotlib.pyplot as pltfilename/Users/oommnn/Desktop/python學習/數據分析/網課資料/第04天/student-data.txtuser_infonp.dtype(…

文獻閱讀——LPPLS(2)

A study on the bursting point of Bitcoin based on the BSADF and LPPLS methods 文獻來源[2] Yao, Can-Zhong, and Hong-Yu Li. “A study on the bursting point of Bitcoin based on the BSADF and LPPLS methods.” The North American Journal of Economics and Financ…

貓頭虎分享已解決Bug || **Vue.js腳手架安裝失敗** Error: unable to fetch template`

貓頭虎分享已解決Bug &#x1f42f; || Vue.js腳手架安裝失敗 &#x1f6ab;Error: unable to fetch template 博主貓頭虎的技術世界 &#x1f31f; 歡迎來到貓頭虎的博客 — 探索技術的無限可能&#xff01; 專欄鏈接&#xff1a; &#x1f517; 精選專欄&#xff1a; 《面試題…

CodeTop 高頻筆試題總結(持續更新)

&#x1f3c6; 頻率從高到低排序 &#x1f468;?&#x1f3eb; 參考的頻率數據&#xff1a;CodeTop &#x1f468;?&#x1f3eb; 力扣hot100 無重復字符的最長子串 雙指針 滑動窗口 哈希&#x1f468;?&#x1f3eb; 力扣hot100 反轉鏈表 指針 遞歸 一題多解&#x1f468;?…

7. path路徑繪制:使用path繪制曲線

曲線在SVG中通常是通過貝塞爾曲線命令來繪制的&#xff0c;包括二次貝塞爾曲線&#xff08;Q&#xff09;和三次貝塞爾曲線&#xff08;C&#xff09;。這些命令允許我們創建平滑的曲線路徑。 貝塞爾曲線的原理 貝塞爾曲線的基本原理是通過控制點和錨點來定義一條曲線的形狀。…

命名規范總結Java

小駝峰命名 主要用于變量和方法的命名&#xff0c;當標識符是一個單詞時首字母小寫&#xff0c;當標識符為多個單詞時第一個單詞首字母小寫&#xff0c;其他單詞首字母大寫 大駝峰命名 主要用于類(Class)名等。標識符各個單詞首字母大寫。 全部大寫命名 常量名 全部小寫命…

持續總結中!2024年面試必問 100 道 Java基礎面試題(四十一)

上一篇地址&#xff1a;持續總結中&#xff01;2024年面試必問 100 道 Java基礎面試題&#xff08;四十&#xff09;-CSDN博客 八十一、Java內存模型是什么&#xff1f; Java內存模型&#xff08;Java Memory Model, JMM&#xff09;是Java虛擬機&#xff08;JVM&#xff09;…