基于RV1126開發板實現自學習圖像分類方案

1. 方案簡介

? ? ? ?自學習：在識別前對物體圖片進行模型學習，訓練完成后通過算法分類得出圖像的模型ID。

? ? ? ?方案設計邏輯流程圖，方案代碼分為分為兩個業務流程，主體代碼負責抓取、合成圖像，算法代碼負責訓練和檢測功能。

2. 快速上手

2.1 開發環境準備

? ? ? ?如果您初次閱讀此文檔，請閱讀《入門指南/開發環境準備/Easy-Eai編譯環境準備與更新》，并按照其相關的操作，進行編譯環境的部署。

? ? ? ?在PC端Ubuntu系統中執行run腳本，進入EASY-EAI編譯環境，具體如下所示。

cd ~/develop_environment
./run.sh

2.2 源碼下載以及實例編譯

? ? ? ?在EASY-EAI編譯環境下創建存放源碼倉庫的管理目錄：

cd /opt
mkdir EASY-EAI-Toolkit
cd EASY-EAI-Toolkit

?????? 通過git工具，在管理目錄內克隆遠程倉庫

git clone https://github.com/EASY-EAI/EASY-EAI-Toolkit-C-Solution.git

? ?注：

* 此處可能會因網絡原因造成卡頓，請耐心等待。

* 如果實在要在gitHub網頁上下載，也要把整個倉庫下載下來，不能單獨下載本實例對應的目錄

? ? ? ?進入到對應的例程目錄執行編譯操作，具體命令如下所示：

cd EASY-EAI-Toolkit-C-Solution/solu-selfLearning/
./build.sh

? 注：

* 由于依賴庫部署在板卡上，因此交叉編譯過程中必須保持adb連接。

? 注：

* 若build.sh腳本不帶任何參數，則僅會拷貝solution編譯出來的可執行文件。

* 若build.sh腳本帶有cpres參數，則會把Release/目錄下的所有資源都拷貝到開發板上。

* 若build.sh腳本帶有clear參數，則會把build/目錄和Release/目錄刪除。

2.3 模型獲取

? ? ? ?【百度網盤】

? ? ? ?鏈接：百度網盤請輸入提取碼

? ? ? ?提取碼：0k7j

? ? ? ?本方案用到模型：classify.model

? ? ? ?直接把模型下載到本地Windows主機，復制。再進入PC端Ubuntu創建存放model目錄：

cd /opt
mkdir model

? ? ? ?然后把模型從本地Windows主機粘貼到PC端Ubuntu中：

2.4 方案部署

? ? ? ?使用下方命令再次回到開發實例目錄

cd /opt/EASY-EAI-Toolkit-C-Solution/solu-selfLearning/

? ? ? ?然后，將EASY-EAI編譯環境的編譯結果部署到板卡中（有兩種方法）。

? ? ? ?方法一：通過執行以下命令手動部署【推薦】

cp Release/solu-* /mnt/userdata/Solu
cp Release/simhei.ttf /mnt/userdata/Solu

? ? ? ?方法二：在編譯時加上編譯參數自動部署

./build.sh cpres

? ? ? ?最后，將準備好的模型部署到板卡中（注意：模型要放到編譯結果的同一目錄中），執行命令如下所示。

cp /opt/model/classify.model /mnt/userdata/Solu

2.5 示例方案運行

? ? ? ?通過按鍵Ctrl+Shift+T創建一個新窗口，執行adb shell命令，進入板卡運行環境。

adb shell

? ? ? ?進入板卡后，定位到例程部署的位置，如下所示：

cd /userdata/Solu

? ? ? ?運行例程命令如下所示：

./solu-selfLearning

2.6 運行效果

? ? ? ?運行打印如下：

? ? ? ?用攝像頭對準訓練物體，雙擊屏幕進行訓練。一個模型訓練5張圖片，總共訓練3個模型：

? ? ? ?訓練完成后進入識別模式：

2.7 開機啟動

? ? ? ?首先進入板卡環境，執行以下命令，在板卡上創建一個給本例程使用的應用目錄：myapp

cd /userdata/apps/
mkdir myapp

? ? ? ?然后回到開發環境中，通過使用“2.4方案部署”類似的操作方法，把本例程所需要的全部文件，包含：編譯結果，配置文件，模型等。部署到剛剛新建的myapp目錄中。

? ? ? ?最后在板卡上創建一個run.sh腳本來管控用戶所有需要的應用即可，《入門指南/應用程序開機自啟動》會詳細描述run.sh腳本該如何編寫。

3. 代碼解析

? ? ? ?方案主邏輯代碼位于：EASY-EAI-Toolkit-C-Solution/ solu-selfLearning/src/main.cpp。代碼實現主要通過調用我司的easyeai-api庫快速實現自學習圖像分類功能，代碼主體分為主線程，算法分析子線程和按鍵模型訓練回調。

3.1 組件庫組成

?????? 要實現自學習圖像分類功能，需要使用到easyeai-api庫的以下組件。

?????? 模組信息如下所示。

組件	頭文件以及庫路徑	描述
系統操作組件	easyeai-api/common_api/system_opt	提供線程操作函數
攝像頭組件	easyeai-api/peripheral_api/camera	提供攝像頭操作函數
顯示屏組件	easyeai-api/peripheral_api/display	提供顯示屏操作函數
自學習組件	easyeai-api/algorithm_api/self_learning	提供自學習操作函數
中文字庫組件	easyeai-api/common_api/font_engine	提供中文顯示操作函數
觸摸屏組件	easyeai-api/peripheral_api/touchscreen	提供觸摸屏操作函數

?????? 這些組件通過CMakeLists.txt編譯進工程，具體請看后續章節。

3.2 邏輯框圖

?????? 項目的整體邏輯框圖如下所示。

3.3 主線程

?????? 主線程處理的業務有：

初始化外設；
創建算法分析子線程；
創建觸摸屏回調函數
抓圖發送給到子線程；
抓圖、顯示；

?????? 本處附上主要的邏輯功能代碼，其他輔助的、校驗型的代碼先忽略。

? ? ? ?組件初始化操作如下，本處調用RGB攝像頭。

// 1.打開攝像頭
ret = rgbcamera_init(CAMERA_WIDTH, CAMERA_HEIGHT, 90);
pbuf = NULL;
pbuf = (char *)malloc(IMAGE_SIZE);

?????? 創建線程互斥鎖以及線程，如下所示。

// 2.創建識別線程，以及圖像互斥鎖
pthread_mutex_init(&img_lock, NULL);
CreateNormalThread(detect_thread_entry, &result, &mTid);

?????? 初始化顯示屏，如下所示。

// 3.顯示初始化
ret = disp_init(SCREEN_WIDTH, SCREEN_HEIGHT);

? ? ? ?抓取圖像，調用clone操作。

// 4.(取流 + 顯示)循環
pthread_mutex_lock(&img_lock);
ret = rgbcamera_getframe(pbuf);algorithm_image = Mat(CAMERA_HEIGHT, CAMERA_WIDTH, CV_8UC3, pbuf);
image = algorithm_image.clone();
pthread_mutex_unlock(&img_lock);

?????? 調用顯示圖像，將分析的結果通過result標記出來。

// 寫入文字
char label_text[50];
char label_text2[50];
if(1 == train_flag){/*識別模式*/memset(label_text, 0 , sizeof(label_text));memset(label_text2, 0 , sizeof(label_text2));sprintf(label_text, "訓練結束，開始識別"); sprintf(label_text2, "模型ID：%d",result); 
}else{/*訓練模式*/memset(label_text, 0 , sizeof(label_text));memset(label_text2, 0 , sizeof(label_text2));sprintf(label_text, "模型訓練中，雙擊屏幕開始訓練"); sprintf(label_text2, "模型ID：%d ， 訓練次數：%d",mode_data , train_data_cnt); 
}
putText(image.data, image.cols, image.rows, label_text, 30, 30, color);
putText(image.data, image.cols, image.rows, label_text2, 30, 1000, color);
IplImage tmp = IplImage(image);
CvArr* arr = (CvArr*)&tmp;
CvRect rect1 = cvRect(20,300,680,680);
drawDashRect(arr,1,2,&rect1,CV_RGB(253,255,85),2);
disp_commit(image.data, IMAGE_SIZE);

3.4? 觸摸屏回調函數

? ? ? ?觸摸屏回調函數，主要完成以下操作：

判斷有雙擊屏幕事件發生；
延時監測是否圖像緩沖區是否為空；
不為空時，證明主函數已發送圖像數據過來，執行圖像獲取操作；
雙擊屏幕時，將主線程圖像送入算法接口進行模型訓練；

3.5 算法分析子線程

?????? 算法分析子線程，主要完成以下操作：

延時監測是否圖像緩沖區是否為空；
不為空時，證明主函數已發送圖像數據過來，線程執行圖像獲取操作；
調用模型分類分析函數；
記錄模型ID，用于主線程圖像合成操作；

?????? 延時監測是否有圖像，操作如下所示。

if(algorithm_image.empty()) {usleep(5);continue;
}

?????? 獲取圖像操作如下所示。

pthread_mutex_lock(&img_lock);
image = algorithm_image.clone();
pthread_mutex_unlock(&img_lock);

?????? 調用模型分類函數，算法得到的目標結果記錄于*share_para內，如下所示。

// 算法分析
*share_para = self_learning_inference(classify_ctx, image, train_data, train_data_count, k_value);

4. 開發指南

4.1 示例文件&目錄結構

?????? Solution git倉庫會隨著產品迭代更新，不斷新增解決方案代碼，當前截圖只作參考。

4.1.1 Solution git倉庫目錄介紹。

?????? Solution工程構成如下所示，由功能組件easyeai-api和各個解決方案構成。

? ? ? ?單個“solu-”開頭的目錄即為一個解決方案案例，代碼內調用“EASY EAI-API”來滿足某一實際應用場景的需求。??????

? ? ? ?功能組件的描述如下所示，easyeai-api是經過高度封裝的易用性組件接口，便于用戶直接調用板卡資源。

功能	組件目錄	組件子目錄	描述
功能組件	easyeai-api	algorithm_api	算法組件
		common_api	通用組件
		media_api	多媒體組件
		netProtocol_api	網絡協議組件
		peripheral_api	外設硬件組件

4.1.2 解決方案最基本的目錄構成。

?????? 每個解決方案就是一個獨立的項目，項目內包含部分如下所示，項目使用cmake構建自動編譯部署。

?????? 具體介紹如下所示。

組成部分	描述
build.sh	編譯腳本，用于管理生成可執行文件后的部署準備工作，用戶可自定義shell命令
CMakeLists.txt	工程管理文件，用于組織整個工程結構，指導cmake生成Makefile
include	用于存放第三方應用庫、頭文件目錄等
src	用于存放實現本方案需求的源代碼

增加已編譯的第三方庫，在include、libs目錄內添加頭文件和庫文件；
增加用戶自定義的功能模塊，推薦在src目錄內增加；

?????? 具體情況如下所示，第三方模塊相關的文件由include/3rd_model/xxx.h、libs/3rd_model/xxx.a。自定義的功能模塊為src/mySrcCode、src/mySrcCode2。

4.2 CMakeLists.txt文件解析

4.2.1 編譯環境配置部分：

? ? ? ?第一部分為配置部分，配置部分如下所示。（獲取當前方案目錄、配置工具鏈、提取方案名稱）：

?????? 配置信息如下所示。

配置項	描述
CMake要求版本	cmake_minimum_required函數指定，要求的最低版本
CMAKE_SYSTEM_NAME	cmake的系統類型，交叉編譯必須
CMAKE_CROSSCOMPILING	cmake是否啟動交叉編譯
cross.camke	camke_host_system_information獲取平臺信息，發現不是armv7l就導入當前平臺的交叉編譯配置。
project項目名	由project函數指定

4.2.2 easyeai-api配置部分

?????? 第二部分是引入我司的功能組件庫（針對當前方案進行：配置EASY EAI API頭文件目錄、庫文件目錄以及配置庫鏈接參數）：

?????? 配置信息如下所示。

配置項	描述
api_inc	最終通過target_include_directories函數指定目標包含的頭文件路徑
link_directories	由link_directories函數指定easyeai-api庫所在路徑
LINK_LIBRARIES	由LINK_LIBRARIES函數指定easyeai-api庫文件

4.2.3 第三方庫配置部分

? ? ? ?第三部分配置第三方的庫（針對當前方案進行：配置第三方頭文件目錄、庫文件目錄、配置第三方庫鏈接參數以及配置源碼目錄）：

?????? 配置信息如下所示。

配置項	描述
custom_inc	自定義變量custom_inc，最終通過target_include_directories函數指定目標包含的頭文件路徑，在源碼include目錄下
link_directories	由link_directories函數指定第三方庫所在路徑
custom_libs	自定義變量custom_libs，最終通過target_link_libraries函數指定目標引用的庫鏈接參數
aux_source_directory	自定義變量dir_srcs，用于添加工程代碼以及自定義的個人代碼

?????? 例如添加個人庫的目錄組成方式如下所示。

? ? ? ? aux_source_directory的修改方式為：

aux_source_directory(./src ./src/mySrcCode ./src/mySrcCode2 dir_srcs)

? ? ? ?或

aux_source_directory(./src dir_srcs)
aux_source_directory(./src/mySrcCode dir_srcs)
aux_source_directory(./src/mySrcCode2 dir_srcs)

4.2.4 本方案配置部分

? ? ? ?第四部分配置項目的編譯信息，內容如下所示：

?????? 配置項如下所示。

配置項	描述
add_executable	編譯結果為${CURRENT_FOLDER}指定，即方案目錄名；編譯的源文件為${dir_srcs}指定；
target_include_directories	指定頭文件的名字，由${api_inc}與${custom_inc}指定；
target_link_libraries	指定額外的庫，例如opencv的庫等