數據預處理
使用labelme可以直接導出適用于yolo模型的txt文本數據,也可以直接導出默認的json數據結構,后面我會提供代碼進行轉換。自行進行標注,圖片與標注一一對應,更多要求不贅述。因為我做最簡單的檢索模型,不做切割,所以用矩形框進行框選就可以。
我的數據集大致如下,老師給的真實數據不能外泄,里面就是一些標注位置及類型:
格式轉換:
1、新建目錄
標注好的數據放在原始數據集original_datasest里面,注意英文路徑下。新建data目錄。
2、新建下面四個包存放數據
Annotations:存放轉換之后圖片的xml文件,images:存放數據集的圖片文件,ImageSets :存放數據集按比例分割之后自動生成的train.txt,val.txt,test.txt和trainval.txt四個文件,labels:存放xml文件轉換后的txt標準格式標簽。
3、json轉xml
import os
import xml.domimport numpy as np
import codecs
import json
import glob
import cv2
import shutil# 1.標簽路徑
labelme_path = r"D:\something\homework\deeplearning\Mydataset\original_dataset\Thyroid" # 原始json、bmp標注數據路徑,需要更換成自己的數據集名稱
saved_path = r"D:\something\homework\deeplearning\Mydataset\data\Annotations" # 保存路徑# 2.獲取待處理文件
files = glob.glob("%s/*.json" % (labelme_path))# 3.讀取標注信息并寫入 xml
for json_filename in files:json_file = json.load(open(json_filename, "r", encoding="utf-8"))i = 0# 圖像名字,若圖像格式不是jpg,需要修改此處img_name = json_filename.replace(".json", ".jpg")height, width, channels = cv2.imread(img_name).shape# xml名字xmlName = os.path.join(saved_path, json_filename.split("\\")[-1].replace(".json", ".xml"))with codecs.open(xmlName, "w", "utf-8") as xml:print(2)xml.write('<annotation>\n')xml.write('\t<folder>' + 'jpg' + '</folder>\n')xml.write('\t<filename>' + img_name + '</filename>\n')# -------------------------------------------------xml.write('\t<source>\n')xml.write('\t\t<database>hulan</database>\n')# --------------------------------------------------xml.write('\t</source>\n')# -----------------------------------------------------------xml.write('\t<size>\n')xml.write('\t\t<width>' + str(width) + '</width>\n')xml.write('\t\t<height>' + str(height) + '</height>\n')xml.write('\t\t<depth>' + str(channels) + '</depth>\n')# ------------------------------------------------xml.write('\t</size>\n')xml.write('\t\t<segmented>0</segmented>\n')# 節點判斷for multi in json_file["shapes"]:points = np.array(multi["points"])xmin = min(points[:, 0])xmax = max(points[:, 0])ymin = min(points[:, 1])ymax = max(points[:, 1])label = multi["label"]if xmax <= xmin:passelif ymax <= ymin:passelse:xml.write('\t<object>\n')xml.write('\t\t<name>' + json_file["shapes"][i]["label"] + '</name>\n')xml.write('\t\t<pose>Unspecified</pose>\n')xml.write('\t\t<truncated>0</truncated>\n')xml.write('\t\t<difficult>0</difficult>\n')xml.write('\t\t<bndbox>\n')xml.write('\t\t\t<xmin>' + str(xmin) + '</xmin>\n')xml.write('\t\t\t<ymin>' + str(ymin) + '</ymin>\n')xml.write('\t\t\t<xmax>' + str(xmax) + '</xmax>\n')xml.write('\t\t\t<ymax>' + str(ymax) + '</ymax>\n')xml.write('\t\t</bndbox>\n')xml.write('\t</object>\n')print(json_filename, xmin, ymin, xmax, ymax, label)i = i + 1xml.write('</annotation>')# 復制圖片newImgName = os.path.join('D:/something/homework/deeplearning/Mydataset/data/images', img_name.split("\\")[-1])shutil.copy(img_name, newImgName)
自行修改地址,還有倒數第二行地址。
結果:xml文件在如下圖:
4、劃分數據集
(注釋是因為一開始用相對路徑有問題,后面全部改成絕對路徑了)
import os
import randomtrainval_percent = 0.9
train_percent = 0.9
# 1. 獲取腳本所在目錄作為基礎路徑
base_dir = os.path.dirname(os.path.abspath(__file__))# 2. 定義所有路徑(基于腳本所在目錄)
xmlfilepath = os.path.join(base_dir, 'data', 'Annotations')
imagesets_dir = os.path.join(base_dir, 'data', 'ImageSets')# 3. 確保ImageSets目錄存在
os.makedirs(imagesets_dir, exist_ok=True)# 4. 列出XML文件(添加錯誤檢查)
try:total_xml = os.listdir(xmlfilepath)
except FileNotFoundError:print(f"錯誤:目錄不存在 - {xmlfilepath}")exit(1)# 5. 避免使用關鍵字"list"作為變量名
file_count = len(total_xml)
file_indices = range(file_count)# 6. 計算分割點
trainval_percent = 0.9
train_percent = 0.9
tv = int(file_count * trainval_percent)
tr = int(tv * train_percent)# xmlfilepath = 'data/Annotations'
# total_xml = os.listdir(xmlfilepath)# num = len(total_xml)
# list = range(num)
# tv = int(num * trainval_percent)
# tr = int(tv * train_percent)# 7. 創建樣本集
trainval = random.sample(file_indices, tv)
train = random.sample(trainval, tr)# 8. 創建文件路徑(使用完整路徑)
trainval_path = os.path.join(imagesets_dir, 'trainval.txt')
test_path = os.path.join(imagesets_dir, 'test.txt')
train_path = os.path.join(imagesets_dir, 'train.txt')
val_path = os.path.join(imagesets_dir, 'val.txt')# 9. 安全地打開文件(使用with語句自動關閉)
with open(trainval_path, 'w') as ftrainval, \open(test_path, 'w') as ftest, \open(train_path, 'w') as ftrain, \open(val_path, 'w') as fval:for i in file_indices:# 10. 提取文件名(不含擴展名)file_name = os.path.splitext(total_xml[i])[0]if i in trainval:ftrainval.write(file_name + '\n')if i in train:ftrain.write(file_name + '\n')else:fval.write(file_name + '\n')else:ftest.write(file_name + '\n')print("數據集分割完成!")
print(f"總文件數: {file_count}")
print(f"訓練驗證集: {tv} 個文件")
print(f"測試集: {file_count - tv} 個文件")
print(f"訓練集: {tr} 個文件")
print(f"驗證集: {tv - tr} 個文件")# trainval = random.sample(list, tv)
# train = random.sample(trainval, tr)# ftrainval = open('data/ImageSets/trainval.txt', 'w')
# ftest = open('data/ImageSets/test.txt', 'w')
# ftrain = open('data/ImageSets/train.txt', 'w')
# fval = open('data/ImageSets/val.txt', 'w')# for i in list:
# name = total_xml[i][:-4] + '\n'
# if i in trainval:
# ftrainval.write(name)
# if i in train:
# ftrain.write(name)
# else:
# fval.write(name)
# else:
# ftest.write(name)# ftrainval.close()
# ftrain.close()
# fval.close()
# ftest.close()
結果:(里面保存的就是劃分圖片的名字)

5、xml轉txt
yolo用得是txt格式的數據,要進行歸一化等,如下:
?
# # xml解析包
# import xml.etree.ElementTree as ET
# import pickle
# import os
# from os import listdir, getcwd
# from os.path import join# sets = ['train', 'test', 'val']
# # classes = ['round', 'square', 'rectangular', 'flat_elliptical', 'mantou', 'groove', 'regular_triangle', 'd_shaped', 'angle']
# classes=['0', '1', '2', '3', '4', '5'] # 類別名稱,0-5對應類別# # 進行歸一化操作
# def convert(size, box): # size:(原圖w,原圖h) , box:(xmin,xmax,ymin,ymax)
# dw = 1./size[0] # 1/w
# dh = 1./size[1] # 1/h
# x = (box[0] + box[1])/2.0 # 物體在圖中的中心點x坐標
# y = (box[2] + box[3])/2.0 # 物體在圖中的中心點y坐標
# w = box[1] - box[0] # 物體實際像素寬度
# h = box[3] - box[2] # 物體實際像素高度
# x = x*dw # 物體中心點x的坐標比(相當于 x/原圖w)
# w = w*dw # 物體寬度的寬度比(相當于 w/原圖w)
# y = y*dh # 物體中心點y的坐標比(相當于 y/原圖h)
# h = h*dh # 物體寬度的寬度比(相當于 h/原圖h)
# return (x, y, w, h) # 返回 相對于原圖的物體中心點的x坐標比,y坐標比,寬度比,高度比,取值范圍[0-1]# # year ='2012', 對應圖片的id(文件名)
# def convert_annotation(image_id):
# '''
# 將對應文件名的xml文件轉化為label文件,xml文件包含了對應的bunding框以及圖片長款大小等信息,
# 通過對其解析,然后進行歸一化最終讀到label文件中去,也就是說
# 一張圖片文件對應一個xml文件,然后通過解析和歸一化,能夠將對應的信息保存到唯一一個label文件中去
# labal文件中的格式:calss x y w h 同時,一張圖片對應的類別有多個,所以對應的bunding的信息也有多個
# '''
# # 對應的通過year 找到相應的文件夾,并且打開相應image_id的xml文件,其對應bund文件
# in_file = open('data/Annotations/%s.xml' % (image_id), encoding='utf-8')
# # 準備在對應的image_id 中寫入對應的label,分別為
# # <object-class> <x> <y> <width> <height>
# out_file = open('data/labels/%s.txt' % (image_id), 'w', encoding='utf-8')
# # 解析xml文件
# tree = ET.parse(in_file)
# # 獲得對應的鍵值對
# root = tree.getroot()
# # 獲得圖片的尺寸大小
# size = root.find('size')
# # 如果xml內的標記為空,增加判斷條件
# if size != None:
# # 獲得寬
# w = int(size.find('width').text)
# # 獲得高
# h = int(size.find('height').text)
# # 遍歷目標obj
# for obj in root.iter('object'):
# # 獲得difficult ??
# difficult = obj.find('difficult').text
# # 獲得類別 =string 類型
# cls = obj.find('name').text
# # 如果類別不是對應在我們預定好的class文件中,或difficult==1則跳過
# if cls not in classes or int(difficult) == 1:
# continue
# # 通過類別名稱找到id
# cls_id = classes.index(cls)
# # 找到bndbox 對象
# xmlbox = obj.find('bndbox')
# # 獲取對應的bndbox的數組 = ['xmin','xmax','ymin','ymax']
# b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text),
# float(xmlbox.find('ymax').text))
# print(image_id, cls, b)
# # 帶入進行歸一化操作
# # w = 寬, h = 高, b= bndbox的數組 = ['xmin','xmax','ymin','ymax']
# bb = convert((w, h), b)
# # bb 對應的是歸一化后的(x,y,w,h)
# # 生成 calss x y w h 在label文件中
# out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')# # 返回當前工作目錄
# wd = getcwd()
# print(wd)# for image_set in sets:
# '''
# 對所有的文件數據集進行遍歷
# 做了兩個工作:
# 1.將所有圖片文件都遍歷一遍,并且將其所有的全路徑都寫在對應的txt文件中去,方便定位
# 2.同時對所有的圖片文件進行解析和轉化,將其對應的bundingbox 以及類別的信息全部解析寫到label 文件中去
# 最后再通過直接讀取文件,就能找到對應的label 信息
# '''
# # 先找labels文件夾如果不存在則創建
# if not os.path.exists('data/labels/'):
# os.makedirs('data/labels/')
# # 讀取在ImageSets/Main 中的train、test..等文件的內容
# # 包含對應的文件名稱
# image_ids = open('data/ImageSets/%s.txt' % (image_set)).read().strip().split()
# # 打開對應的2012_train.txt 文件對其進行寫入準備
# list_file = open('data/%s.txt' % (image_set), 'w')
# # 將對應的文件_id以及全路徑寫進去并換行
# for image_id in image_ids:
# list_file.write('E:/Mydataset/data/images/%s.bmp\n' % (image_id))
# # 調用 year = 年份 image_id = 對應的文件名_id
# convert_annotation(image_id)
# # 關閉文件
# list_file.close()import xml.etree.ElementTree as ET
import pickle
import os
import random
from os import listdir, getcwd
from os.path import join, abspath, dirname# 0. 獲取腳本所在目錄作為基礎路徑
base_dir = dirname(abspath(__file__))# 1. 創建所有必要的目錄
required_dirs = ['data/Annotations','data/labels','data/ImageSets','data/images'
]for dir_path in required_dirs:full_path = join(base_dir, dir_path)os.makedirs(full_path, exist_ok=True)print(f"已創建目錄: {full_path}")# 2. 定義數據集和類別
sets = ['train', 'test', 'val']
classes = ['0', '1', '2', '3', '4', '5'] # 類別名稱# 3. 歸一化函數(保持不變)
def convert(size, box):dw = 1./size[0]dh = 1./size[1]x = (box[0] + box[1])/2.0y = (box[2] + box[3])/2.0w = box[1] - box[0]h = box[3] - box[2]x = x*dww = w*dwy = y*dhh = h*dhreturn (x, y, w, h)# 4. 修改convert_annotation函數使用絕對路徑
def convert_annotation(image_id):# 使用絕對路徑xml_path = join(base_dir, 'data', 'Annotations', f'{image_id}.xml')label_path = join(base_dir, 'data', 'labels', f'{image_id}.txt')# 檢查XML文件是否存在if not os.path.exists(xml_path):print(f"警告: XML文件不存在 - {xml_path}")returntry:tree = ET.parse(xml_path)root = tree.getroot()size = root.find('size')if size is None:print(f"警告: {xml_path} 中沒有找到size元素")returnw = int(size.find('width').text)h = int(size.find('height').text)with open(label_path, 'w', encoding='utf-8') as out_file:for obj in root.iter('object'):difficult = obj.find('difficult').textcls = obj.find('name').textif cls not in classes or (difficult and int(difficult) == 1):continuecls_id = classes.index(cls)xmlbox = obj.find('bndbox')b = (float(xmlbox.find('xmin').text),float(xmlbox.find('xmax').text),float(xmlbox.find('ymin').text),float(xmlbox.find('ymax').text))bb = convert((w, h), b)out_file.write(f"{cls_id} {' '.join(map(str, bb))}\n")print(f"已處理: {image_id}")except Exception as e:print(f"處理 {xml_path} 時出錯: {str(e)}")# 5. 主程序
if __name__ == "__main__":print(f"腳本目錄: {base_dir}")print(f"當前工作目錄: {getcwd()}")# 檢查ImageSets目錄中的txt文件是否存在imagesets_dir = join(base_dir, 'data', 'ImageSets')for set_name in sets:txt_path = join(imagesets_dir, f'{set_name}.txt')if not os.path.exists(txt_path):print(f"警告: {txt_path} 不存在,將自動創建空的")open(txt_path, 'w').close()# 處理每個數據集for image_set in sets:txt_path = join(imagesets_dir, f'{image_set}.txt')try:with open(txt_path, 'r', encoding='utf-8') as f:image_ids = [line.strip() for line in f.readlines() if line.strip()]if not image_ids:print(f"警告: {txt_path} 是空的,跳過")continueprint(f"處理 {image_set} 集,共 {len(image_ids)} 個圖像")list_file_path = join(base_dir, 'data', f'{image_set}.txt')with open(list_file_path, 'w', encoding='utf-8') as list_file:for image_id in image_ids:# 使用相對路徑或絕對路徑# 相對路徑(推薦,便于在不同機器上使用)# image_path = join('data', 'images', f'{image_id}.bmp')# 絕對路徑(根據實際情況修改)image_path = join(base_dir, 'data', 'images', f'{image_id}.jpg')list_file.write(f"{image_path}\n")# 處理標注convert_annotation(image_id)print(f"完成 {image_set} 集處理")except Exception as e:print(f"處理 {image_set} 集時出錯: {str(e)}")print("所有處理完成!")
結果:
數據集分割完成!
總文件數: 100
訓練驗證集: 90 個文件
測試集: 10 個文件
訓練集: 81 個文件
驗證集: 9 個文件
6、數據類別
運行腳本知道甲狀腺結節類別:['1', '3', '5', '4', '2', '0']
腳本如下(如果知道自己有哪些類別的,就可以不用運行如下代碼):
import xml.dom.minidom as xmldom
import osbase_dir = os.path.dirname(os.path.abspath(__file__))# 2. 定義所有路徑(基于腳本所在目錄)
annotation_path = os.path.join(base_dir, 'data', 'Annotations')
# voc數據集獲取所有標簽的所有類別數"
# annotation_path = "./data/Annotations/"annotation_names = [os.path.join(annotation_path, i) for i in os.listdir(annotation_path)]labels = list()
for names in annotation_names:xmlfilepath = namesdomobj = xmldom.parse(xmlfilepath)# 得到元素對象elementobj = domobj.documentElement# 獲得子標簽subElementObj = elementobj.getElementsByTagName("object")for s in subElementObj:label = s.getElementsByTagName("name")[0].firstChild.data# print(label)if label not in labels:labels.append(label)
print(labels)
開始訓練
1、測試
接前文【長文】深度學習小白第一次完整跑通項目全過程,可以先運行一下detect.py進行測試,防止依賴版本等錯誤
2、參數設置
parser.add_argument('--workers', type=int, default=8, help='max dataloader workers (per RANK in DDP mode)')
改為0線程,后面避免問題。
3、寫配置文件
(注意冒號后面要有空格)
分別是自己的訓練測試驗證集地址和類別。
4、加載配置文件
放到代碼的data目錄下面
在train.py文件中將如下地方改成自己的配置數據集名字。