一、項目概述

大家好！今天我將分享一個我近期完成的深度學習項目——一個功能強大的、帶圖形化界面（GUI）的水果識別系統。該系統不僅能識別靜態圖片中的水果，還集成了模型訓練、評估、數據增強等功能于一體，為深度學習的入門和實踐提供了一個絕佳的案例。

本項目使用 Python 作為主要開發語言，后端算法基于 TensorFlow/Keras 深度學習框架，前端界面則采用 PyQt5 構建，實現了算法與應用的分離，界面美觀，交互友好。

核心技術棧：

• GUI框架: PyQt5
• 深度學習框架: TensorFlow 2.x / Keras
• 計算機視覺庫: OpenCV-Python
• 數據可視化: Matplotlib
• 核心模型:
  1. 自定義的輕量級 CNN
  2. 基于遷移學習的 MobileNetV2
  3. 基于遷移學習的 VGG16

二、功能展示

系統主界面通過一個選項卡（QTabWidget）清晰地劃分了五大核心功能區。

1. 靜態圖片識別

用戶可以選擇本地的水果圖片，然后從下拉列表中選擇一個已訓練好的模型（CNN, MobileNetV2, VGG16）進行識別。識別結果會立刻顯示在界面右側。

2. 實時視頻識別（補充功能）

本系統支持通過本地視頻文件或直接調用攝像頭進行實時識別。在視頻流的每一幀上，系統都會進行預測，并將結果實時繪制在畫面上，非常直觀。

3. 模型訓練

這是系統的核心功能之一。用戶可以直接在界面上點擊按鈕，啟動對CNN、MobileNetV2或VGG16模型的訓練。訓練過程中的所有日志（Epoch、loss、accuracy等）都會實時顯示在文本框中。訓練結束后，準確率和損失曲線圖會自動繪制并顯示在右側，同時新模型會被自動加載，可立即用于識別。

4. 模型評估

為了量化模型的性能，評估功能可以計算模型在驗證集上的準確率，并生成一個詳細的混淆矩陣（Confusion Matrix）熱力圖。這有助于我們分析模型對哪些類別的識別效果好，哪些容易混淆。

5. 數據增強

提供了一個一鍵數據增強的工具。它會遍歷指定文件夾中的原始圖片，通過旋轉、平移、縮放、翻轉等操作批量生成新的訓練樣本，有效擴充數據集，防止模型過擬合。

三、系統架構與代碼解析

項目的代碼結構清晰，每個文件各司其職。

• main.ui.py: 主程序入口和UI界面。負責創建所有窗口控件，處理用戶交互事件，并使用 QProcess 和 QThread 調用后端的訓練和識別腳本，避免了界面卡死。
• CNNTrain.py: 自定義CNN模型的訓練腳本。包含數據加載、模型構建、訓練和保存的全過程。
• MobileNetTrain.py: MobileNetV2模型的遷移學習訓練腳本。
• VGG16Train.py: VGG16模型的遷移學習訓練腳本。
• testModel.py: 模型評估腳本。負責加載模型，在驗證集上進行測試，并生成混淆矩陣。
• geneImage.py: 數據增強腳本。用于離線擴充數據集。

1. 核心亮點：遷移學習的應用 (MobileNetTrain.py)

為了在有限的數據集上達到高精度，我們主要采用了遷移學習。以 MobileNetTrain.py 為例，我們加載了在ImageNet上預訓練的MobileNetV2模型，并凍結其大部分權重，只訓練我們自己添加的分類層。

def model_load(IMG_SHAPE=(224, 224, 3), class_num=15):# 加載預訓練的MobileNetV2模型，不包含頂部分類層base_model = tf.keras.applications.MobileNetV2(input_shape=IMG_SHAPE,include_top=False, # 關鍵：不加載全連接層weights='imagenet')# 凍結預訓練模型的權重，在訓練中不更新它們base_model.trainable = Falsemodel = tf.keras.models.Sequential([# 使用預訓練的MobileNetV2作為基座base_model,# 對主干模型的輸出進行全局平均池化tf.keras.layers.GlobalAveragePooling2D(),# 添加Dropout層，防止分類器過擬合tf.keras.layers.Dropout(0.5),# 添加我們自己的全連接分類層tf.keras.layers.Dense(class_num, activation='softmax')])# 編譯模型model.compile(optimizer='adam',loss='categorical_crossentropy',metrics=['accuracy'])model.summary()return model

關鍵點：

1. include_top=False：這是使用遷移學習的核心，我們只借用模型的特征提取部分。
2. base_model.trainable = False：凍結權重可以防止在小數據集上破壞預訓練學到的通用特征。
3. 自定義分類頭：在base_model之后添加了GlobalAveragePooling2D、Dropout和Dense層，這是我們需要從頭開始訓練的部分。

2. 界面與邏輯分離 (main.ui.py)

為了保證用戶體驗，耗時的任務（如模型訓練和實時視頻處理）不能阻塞UI主線程。

• 模型訓練：通過QProcess啟動一個外部Python進程來執行訓練腳本。這樣，訓練過程與主界面完全分離，并且可以通過重定向標準輸出來捕獲日志。

  def run_script(self, script_name, args=None):# ... 省略部分代碼 ...self.process = QProcess(self)# 連接信號與槽，用于讀取輸出self.process.readyReadStandardOutput.connect(lambda: self.handle_stdout(output_widget))self.process.finished.connect(...)# 啟動外部腳本command = f'python -u {script_name}'self.process.start(command)
  

• 實時識別：通過QThread將視頻的讀取和模型預測放到一個工作線程中。工作線程完成一幀的預測后，通過pyqtSignal發射一個信號，將處理好的圖像（QImage）傳回主線程進行顯示。

  class VideoWorker(QThread):change_pixmap_signal = pyqtSignal(QImage)def run(self):# ... 視頻讀取和模型預測 ...# 循環中if ret:# ...# 發射信號，將處理后的圖像傳給UI線程self.change_pixmap_signal.emit(qt_image)# 在主窗口中
  self.video_thread.change_pixmap_signal.connect(self.update_frame)
  

3. 精細化的模型預處理

不同的預訓練模型通常需要不同的輸入預處理方式。例如，CNN模型通常需要將像素值歸一化到[0, 1]，而MobileNetV2和VGG16則有自己專用的preprocess_input函數。我們的代碼嚴格區分了這一點，確保模型在預測時接收到正確格式的數據。

# 在 main.ui.py 的 predict_image 方法中
if model_name == 'MobileNetV2':processed_array = mobilenet_preprocess_input(img_array)
elif model_name == 'VGG16':processed_array = vgg16_preprocess_input(img_array)
else: # Default for CNNprocessed_array = img_array / 255.0# 模型預測
predictions = model.predict(processed_array)

四、如何運行

1. 環境配置:

   pip install tensorflow opencv-python matplotlib pyqt5
   

2. 數據集準備:
   在項目根目錄的上級目錄創建一個fruit文件夾，內部結構如下：

   /project_folder/your_scripts_foldermain.ui.py...
   /fruit/train/Apple1.jpg2.jpg.../Banana.../val/Apple.../Banana...
   

3. 訓練模型:
   直接運行main.ui.py，在“模型訓練”選項卡中點擊相應的按鈕進行訓練。訓練好的模型會保存在models文件夾下。
4. 開始使用:
   模型訓練完畢后，即可在其他選項卡中進行識別和評估。

五、總結與展望

本項目完整地實現了一個從數據處理、模型訓練到部署應用的深度學習全流程。通過PyQt5將復雜的功能封裝在友好的圖形界面下，大大降低了使用門檻。

未來可擴展的方向：

• 模型優化: 嘗試更先進的模型（如EfficientNet）或對當前模型進行微調（Fine-tuning）以提高精度。
• 功能擴展: 增加對水果新鮮度、卡路里等信息的識別與展示。
• 部署: 將模型部署到Web端或移動端，提供更廣泛的服務。

希望這個項目能對你有所啟發，感謝閱讀！如果你覺得不錯，歡迎點贊、收藏、關注！