當我們生成了數據后，我們來看看FCN是如何加載數據的。
FCN 代碼預覽
其中：
- data : 訓練測試數據
- ilsvrc-nets：存放預訓練的模型
- 剩下的框：不同數據集的訓練測試prototxt
- voc_layers，siftflow_layers等：數據生成層
- snapshot:保存快照（若沒有自建）
加載訓練測試數據
我們從solve.py看起。
在這里鄭重聲明一下：如果訓練fcn32s的網絡模型，一定要修改solve.py利用transplant的方式獲取vgg16的網絡權重。
具體操作為：
import sys
sys.path.append('/home/hitoia/caffe/python')
import caffe
import surgery, scoreimport numpy as np
import os
import systry:import setproctitlesetproctitle.setproctitle(os.path.basename(os.getcwd()))
except:passvgg_weights = '../ilsvrc-nets/vgg16-fcn.caffemodel'
vgg_proto = '../ilsvrc-nets/VGG_ILSVRC_16_layers_deploy.prototxt'
weights = '../ilsvrc-nets/vgg16-fcn.caffemodel'
#weights = '../ilsvrc-nets/vgg16-fcn.caffemodel'# init
#caffe.set_device(int(sys.argv[1]))
caffe.set_mode_gpu()
caffe.set_device(0)#solver = caffe.SGDSolver('solver.prototxt')
#solver.net.copy_from(weights)
solver = caffe.SGDSolver('solver.prototxt')
vgg_net=caffe.Net(vgg_proto,vgg_weights,caffe.TRAIN)
surgery.transplant(solver.net,vgg_net)
del vgg_net# surgeries
interp_layers = [k for k in solver.net.params.keys() if 'up' in k]
surgery.interp(solver.net, interp_layers)# scoring
val = np.loadtxt('/home/hitoia/fcn.berkeleyvision.org/data/pascal/VOCdevkit/VOC2012/ImageSets/Segmentation/seg11valid.txt', dtype=str) #seg11valid就是測試數據for _ in range(25):solver.step(1000)score.seg_tests(solver, False, val, layer='score')關于VGG_ILSVRC_16_layers_deploy.prototxt 可以在http://pan.baidu.com/s/1geLL6Sz下載。
如果訓練fcn16s，則可以直接copy自己的fcn32s的model的權重，不需要transplant，也就是不需要修改solve.py
如果訓練fcn8s，則可以直接copy自己的fcn16s的model的權重，不需要transplant,也就是不需要修改solve.py
只有如此，才能避免loss高居不下的情況
【注意：】為什么這里要使用transplant？
參考：http://www.cnblogs.com/xuanxufeng/p/6243342.html
其實主要是因為vgg中包含了fc6,fc7等全連接層，而FCN中將之改成了全卷積層，二者性質不同，但仍然可以將全連接層的參數拷貝到全卷積層上，也就是這里的transplant所起的作用。
這里的：
for _ in range(25):solver.step(1000)score.seg_tests(solver, False, val, layer='score')奇怪的現象：修改solver.prototxt中的max_iter: 100000沒有改變最大迭代次數，只有改變這個step里的數字才有用，這里最大迭代次數等于25*1000 = 25000次。
而至于訓練數據的加載，則在train.prototxt中
layer {name: "data"type: "Python"top: "data"top: "label"python_param {module: "voc_layers"layer: "SBDDSegDataLayer"param_str: "{\'sbdd_dir\': \'../data/sbdd/dataset\', \'seed\': 1337, \'split\': \'train\', \'mean\': (104.00699, 116.66877, 122.67892)}"}
}param_str包含了訓練數據加載的參數:sbdd_dir,split
label的加載
上一篇《FCN-數據篇》 講述了如何生成label數據，
生成索引圖后，本應該 制作mat文件，但是有點麻煩，參考了網上的資料，修改代碼，使得這里也可以直接存放索引圖。
修改fcn目錄下的voc_layers.py
注釋掉原本的load_label ，修改為新的
# def load_label(self, idx):
# """
# Load label image as 1 x height x width integer array of label indices.
# The leading singleton dimension is required by the loss.
# """
# import scipy.io
# mat = scipy.io.loadmat('{}/cls/{}.mat'.format(self.sbdd_dir, idx))
# label = mat['GTcls'][0]['Segmentation'][0].astype(np.uint8)
# label = label[np.newaxis, ...]
# return labeldef load_label(self, idx):"""Load label image as 1 x height x width integer array of label indices.The leading singleton dimension is required by the loss."""im = Image.open('{}/cls/{}.png'.format(self.sbdd_dir, idx))label = np.array(im, dtype=np.uint8)label = label[np.newaxis, ...]return label這里的label載入都是0,1等的索引值，代表分割種類。
參考
- ubuntu下caffe的FCN8模型訓練
- FCN網絡的訓練——以SIFT-Flow 數據集為例
