之前在簡書的文章，搬遷過來 ^-^
本文是作者原創，如有理解錯誤，懇請大家指出，如需引用，請注明出處。
#Caffe FeatureMap數據流的建立 ##用語解釋
- FeatureMap: 輸入的圖片信息或者經過多層處理后的圖片信息。
- weights: 只針對卷積層存在的權重系數。
- caffe :文中提到的caffe均指caffed1.0,如果使用caffe2.0會特別指出。
在講解FeatureMap的數據流之前，首先需要明確一下caffe的大體結構，caffe的整體邏輯結構分為3層，分別是Net,Layer和Blob，分別的作用如下：
- Net: 該層處于CAFFE的最頂層，主要負責對模型文件的讀寫，根據模型文件的內容建立相應的Layer，填充對應層的數據并進行相關的調用。
- Layer: 該層是實際的執行單元，常見的如卷積層，Pooling層都是處于這一邏輯層。
- Blob:該層是一個內存管理的模塊，為Layer和Net提供相應的存儲空間，屏蔽上層對于內存分配，CPU,GPU切換的感知。
由上面的講解分層關系不難看出，FeatureMap在整個Caffe框架中，不屬于任何一個Layer，所以它被最頂層的Net層所持有。Net層就需要能夠通過caffe的模型文件推倒出每一層所依賴的輸入，這樣才能構建出一個完整的數據鏈。在這種需求下Caffe引入了兩個定義：
- bottom: Layer的輸入數據。
- top: Layer的輸出數據。 具體的形式如下圖（單輸入和多輸入的情形）：
所以Net在調用Layer之前就一定知道了Layer的所需要的輸入數據，也就是需要Net層所持有的Blob變量需要被那些層所引用。這些在模型文件中也有直觀的反應(為了方便截圖，刪除了下圖proto中關于Convlution的參數配置)：
上述的工作都在Net的Init(void Net::Init(const NetParameter& in_param))函數里面進行了處理，主要實現的就是根據上圖左側的模型文件得到需要建立的Layer的類型，并將各個Layer間的數據鏈接起來。函數中的關鍵參數如下：
| 名稱 | 功能 |
|---|---|
| in_param | 存放由protobuf轉換出的模型文件 |
| bottom_vecs_ | 存放每一層中的輸入數據類型為：vector<vector<Blob*> > |
| top_vecs_ | 存放每一層中的輸出數據類型為：vector<vector<Blob*> > |
| available_blobs | 存放每一層中的輸出數據類型為：vector<vector<Blob*> > |
##常規的數據鏈建立流程是（單輸入單輸出的場景）：
-
鏈接本層的bottom數據（
int Net::AppendBottom(const NetParameter& param, const int layer_id, const int bottom_id, set<string>* available_blobs, map<string, int>* blob_name_to_idx)）,該函數會使用從當前layer持有的bottom信息中得到對應bottom的層名，然后利用該名稱找到對應的blob，并加入到bottom_vecs_。 -
鏈接本層的top數據（
void Net::AppendTop(const NetParameter& param, const int layer_id,const int top_id, set<string>* available_blobs, map<string, int>* blob_name_to_idx)）,該操作就是將本層的輸出數據加入到top_vecs_中，并與 layer_id相關聯，這里同時負責Blob對象的申請。 需要指出的是，新的Blob對象是在top中進行創建的，在Bottom中只是將上一層top的指針添加進來，同時在這個過程中CAFFE還利用available_blobs進行了異常校驗，在每次新加入top的時候記錄對應的Blob名稱，在bottom中鏈接上一層top之后，在available_blobs中將對應的Blob名稱剔除。相關偽代碼如下：for (int layer_id = 0; layer_id < param.layer_size(); ++layer_id) {AppendBottom（）;AppendTop（）;} 復制代碼
##多輸入的數據鏈的建立： 細心的同學應該已經發現，當數據為多bottom輸入的時候，因為available_blobs的數據被上一次的鏈接過程刪掉，則再次鏈接相同bottom的時候，會出先異常告警，在這種情況下我們就要引入CAFFE的另外一處理函數 void InsertSplits(const NetParameter& param, NetParameter* param_split)，該函數的主要功能就是對 top輸出到多個 Layer的情況進行分割。 整個函數分為兩個部分：
-
遍歷整個網絡，記錄每一個Layer的top的使用情況，記錄結構放在
top_idx_to_bottom_count中。 -
遍歷整個網絡，對
top_idx_to_bottom_count > 1的情況進行處理: a. 首先是對top被多個層使用的Layer進行分割，主要的做法是在該層的后面新建一個Layer ，這個新的Layer的會按照top_idx_to_bottom_count的個數和約定的分割名稱（SplitBlobName）去新建top，添加層的代碼如下（此處只展示核心的創建過程，具體調用流程請自行跟蹤）：//該函數執行新層的添加void ConfigureSplitLayer(const string& layer_name, const string& blob_name,const int blob_idx, const int split_count, const float loss_weight,LayerParameter* split_layer_param) {split_layer_param->Clear();split_layer_param->add_bottom(blob_name);split_layer_param->set_name(SplitLayerName(layer_name, blob_name, blob_idx));split_layer_param->set_type("Split");for (int k = 0; k < split_count; ++k) {//split_count就是該top被引用的個數//添加了分割后的top//命名由SplitBlobName生成 split_layer_param->add_top(SplitBlobName(layer_name, blob_name, blob_idx, k));if (loss_weight) {if (k == 0) {split_layer_param->add_loss_weight(loss_weight);} else {split_layer_param->add_loss_weight(0);}}}} 復制代碼b. 之后，是對使用同一個top的后續層的bottom的blob進行改名，使用與上一步相同的命名規則進行改名。
下面以SqueezeNet1.1為例，展示了添加新的分割層的實例：
![Upload new_split_layer.jpg failed. Please try again.]
通過這樣一個分割的轉化，達到了對多輸入數據流的建立。
##遺留問題 上面講的是在初始化階段對FeatureMap數據的鏈接關系的建立，但是對于weights的填充和初始圖片的輸入并沒有進行分析。
