最近在做一些數據標注的工作，雖然標注數據比較枯燥，但這也是每個做算法的工程師升級打怪的必由之路。使用一些合適的工具往往可以事半功倍，效率UP。

一：數據標注流程

二：數據處理的一些小代碼

1：重命名

當得到這樣格式命名不一致的數據的時候，重命名是最好的方法。

代碼：

#coding=UTF-8

'''

重命名工具

'''

import os

import sys

def rename():

path=input(r"請輸入路徑(例如D:\picture)：")

name=input("請輸入開頭名:")

startNumber=input("請輸入開始數:")

fileType=input("請輸入后綴名(如 .jpg、.txt等等):")

print("正在生成以"+name+startNumber+fileType+"迭代的文件名")

count=0

filelist=os.listdir(path)

for files in filelist:

Olddir=os.path.join(path,files)

if os.path.isdir(Olddir):

continue

Newdir=os.path.join(path,name+str(count+int(startNumber))+fileType)

os.rename(Olddir,Newdir)

count+=1

print("一共修改了"+str(count)+"個文件")

if __name__ == '__main__':

rename()

重命名后的文件會覆蓋之前的文件，記得操作之前備份原始數據(如有需要的話)

2：數據標注工具：

對于VOC數據集，使用labelimgs很方便，安裝過程也很簡單：

開源地址如下：https://github.com/tzutalin/labelImg

如上圖所示，框選完口罩后，點擊OK會生成一個跟你文件名一致的XML文件，XML中包括有文件路徑，文件名稱，以及你給的標簽等等信息，如下圖：

3：劃分數據集

因為要符合VOC數據集格式，這里簡單說一下VOC數據集格式類型。做深度學習目標檢測方面的同學怎么都會接觸到PASCAL VOC這個數據集。也許很少用到整個數據集，但是一般都會按照它的格式準備自己的數據集。所以這里就來記錄一下PASCAL VOC的格式，包括目錄構成以及各個文件夾的內容格式，方便以后自己按照VOC的標準格式制作自己的數據集。

但是我們一般情況下，自己制作數據集不需要Segment開頭的，著重關注這三個文件夾：

Annotation文件夾存放的是xml文件，該文件是對圖片的解釋，每張圖片都對于一個同名的xml文件。

ImageSets文件夾存放的是txt文件，這些txt將數據集的圖片分成了各種集合。

JPEGImages文件夾存放的是數據集的原圖片

轉換代碼：

import os

import random

xmlfilepath = r'D:/object_find/voc_title/VOCdevkit/VOC2007/Annotations'

saveBasePath = r"D:/object_find/voc_title/VOCdevkit/VOC2007/ImageSets/Main/"

#訓練集和驗證集所占的比例

trainval_percent = 0.8

train_percent = 0.8

temp_xml = os.listdir(xmlfilepath)

total_xml = []

for xml in temp_xml:

if xml.endswith(".xml"):

total_xml.append(xml)

num = len(total_xml)

list = range(num)

tv = int(num * trainval_percent)

tr = int(tv * train_percent)

trainval = random.sample(list, tv)

train = random.sample(trainval, tr)

print("train and val size", tv)

print("traub suze", tr)

#trainval,訓練集測試集文件名，train，訓練集，test,測試集，val驗證集的文件名

ftrainval = open(os.path.join(saveBasePath, 'trainval.txt'), 'w')

ftest = open(os.path.join(saveBasePath, 'test.txt'), 'w')

ftrain = open(os.path.join(saveBasePath, 'train.txt'), 'w')

fval = open(os.path.join(saveBasePath, 'val.txt'), 'w')

for i in list:

name = total_xml[i][:-4] + '\n'

if i in trainval:

ftrainval.write(name)

if i in train:

ftrain.write(name)

else:

fval.write(name)

else:

ftest.write(name)

ftrainval.close()

ftrain.close()

fval.close()

ftest.close()

運行結果：

4:XML轉TXT

這里要用到XML工具包來匹配一下：

代碼：

import xml.etree.ElementTree as ET

from os import getcwd

sets=[('2007', 'train'), ('2007', 'val'), ('2007', 'test')]

classes = ["nomask","rightmask","wrongmask"]

def convert_annotation(year, image_id, list_file):

in_file = open('D:/object_find/voc_title/VOCdevkit/VOC%s/Annotations/%s.xml'%(year, image_id))

tree=ET.parse(in_file)

root = tree.getroot()

for obj in root.iter('object'):

difficult = obj.find('difficult').text

cls = obj.find('name').text

if cls not in classes or int(difficult)==1:

continue

cls_id = classes.index(cls)

xmlbox = obj.find('bndbox')

b = (int(xmlbox.find('xmin').text), int(xmlbox.find('ymin').text), int(xmlbox.find('xmax').text), int(xmlbox.find('ymax').text))

list_file.write(" " + ",".join([str(a) for a in b]) + ',' + str(cls_id))

wd = getcwd()

for year, image_set in sets:

image_ids = open('VOCdevkit/VOC%s/ImageSets/Main/%s.txt'%(year, image_set)).read().strip().split()

list_file = open('%s_%s.txt'%(year, image_set), 'w')

for image_id in image_ids:

list_file.write('%s/VOCdevkit/VOC%s/JPEGImages/%s.jpg'%(wd, year, image_id))

convert_annotation(year, image_id, list_file)

list_file.write('\n')

list_file.close()

生成結果：

生成txt文件，包括：圖片位置信息，目標位置，類別