超臨界機組協調控制系統建模項目開發筆記
項目概述
本項目基于兩篇論文的方法，對超臨界機組協調控制系統進行數據驅動建模。主要使用LSTM+Transformer混合架構，實現對主蒸汽壓力(Pst)、分離器蒸汽焓值(hm)和機組負荷(Ne)的預測。同時，通過消融實驗比較不同模型架構的性能，并使用領域自適應方法解決不同季節數據之間的差異問題。
數據集分析
數據集來源于論文"A dynamic nonlinear model for a wide-load range operation of ultra-supercritical once-through boiler-turbine units"的補充材料，包含三組不同工況下的機組運行數據：
- 常規升負荷
- 常規降負荷
- 快速降負荷
數據集中的主要變量包括：
- 輸入變量：燃料流量(uB)、給水流量(Dfw)、汽輪機閥門開度(ut)
- 輸出變量：主蒸汽壓力(Pst)、分離器蒸汽焓值(hm)、機組負荷(Ne)
注意：原始論文中使用的是分離器蒸汽溫度(T)，但在本數據集中使用分離器蒸汽焓值(hm)代替。
開發過程
1. 數據處理
- 讀取Excel文件中的三組數據
- 數據清洗：處理缺失值、異常值
- 數據歸一化：使用MinMaxScaler將數據縮放到[0,1]區間
- 時間序列數據準備：使用滑動窗口方法創建序列數據
- 訓練集和測試集分割：按80%/20%比例分割
2. 模型設計
設計了LSTM+Transformer混合模型架構：
- LSTM部分：捕捉時間序列的長期依賴關系
- Transformer部分：通過自注意力機制捕捉變量間的復雜關系
- 輸出層：分別預測三個輸出變量
模型架構的主要特點：
- 多輸入多輸出結構
- 殘差連接和層歸一化
- 多頭自注意力機制
- 分離的輸出預測頭
3. 消融實驗
設計了三種模型配置進行比較：
- 僅使用LSTM
- 僅使用Transformer
- LSTM+Transformer混合模型
比較指標：
- 均方誤差(MSE)
- 平均絕對誤差(MAE)
- 訓練時間
4. 領域自適應
為解決不同季節數據之間的差異問題，實現了領域自適應方法：
- 使用第一組數據作為源域訓練基礎模型
- 使用其他組數據作為目標域進行模型微調
- 比較適應前后的模型性能
調試筆記
數據處理階段
-
問題：Excel文件讀取緩慢
解決方案：使用pandas的chunk讀取方式，分批次處理大型Excel文件 -
問題：數據中存在異常值和缺失值
解決方案：使用統計方法檢測異常值，對缺失值進行插值處理 -
問題：時間序列數據準備時內存占用過大
解決方案：優化滑動窗口實現，減少中間數據的存儲
模型訓練階段
-
問題：模型訓練時出現梯度爆炸
解決方案：- 使用梯度裁剪
- 降低學習率
- 添加BatchNormalization層
-
問題：模型容易過擬合
解決方案：- 增加Dropout層
- 使用早停策略
- 添加L2正則化
-
問題：多輸出模型的損失函數選擇
解決方案：對每個輸出使用單獨的MSE損失，然后求和作為總損失 -
問題：Transformer部分參數調優困難
解決方案：- 從較小的頭數和維度開始
- 逐步增加復雜度
- 使用學習率調度器
領域自適應階段
-
問題：源域和目標域數據分布差異較大
解決方案：- 使用較小的學習率進行微調
- 引入偽標簽方法
- 混合源域和目標域數據進行訓練
-
問題：適應過程中出現災難性遺忘
解決方案：- 保留部分源域數據進行混合訓練
- 使用彈性權重整合(EWC)方法保留關鍵參數
-
問題：不同季節數據的特征重要性不同
解決方案：- 實現特征重要性分析
- 對重要特征賦予更高的權重
性能優化
-
內存優化：
- 使用生成器處理大型數據集
- 及時釋放不再使用的中間變量
-
計算優化：
- 使用tf.function裝飾器加速訓練
- 批處理數據預處理操作
- 使用混合精度訓練
-
模型優化：
- 模型剪枝減少參數量
- 知識蒸餾壓縮模型
項目總結
符合要求的部分
- 三個單輸出預測對比圖：成功實現了主蒸汽壓力(Pst)、分離器蒸汽焓值(hm)和機組負荷(Ne)三個輸出變量的預測值與真實值對比圖，以及誤差分析圖。
- LSTM+Transformer混合架構：按照要求實現了LSTM+Transformer混合模型架構，充分利用了LSTM捕捉時序依賴和Transformer捕捉變量間關系的優勢。
- 消融實驗：完成了LSTM+Transformer混合模型、僅LSTM模型和僅Transformer模型的對比實驗，生成了MAE、MSE和訓練時間的比較圖表，驗證了混合模型的優越性。
- 領域自適應：針對不同季節（不同工況）的數據，實現了領域自適應方法，作為創新點提高了模型在不同工況下的泛化能力。
- 模型框架文字敘述：提供詳細的模型架構文檔，包括模型設計思路、參數選擇和實現細節。
- 開發筆記和調試筆記：記錄開發過程中的關鍵決策、問題解決方案和調試過程。
不符合要求的部分
- 領域自適應效果不均衡：領域自適應方法對分離器蒸汽焓值(hm)的預測有顯著改善（MSE改進82.91%），但對主蒸汽壓力(Pst)和機組負荷(Ne)的預測效果反而變差（MSE分別增加111.85%和316.59%）。這表明當前的領域自適應方法對不同變量的適應能力存在差異。
- 模型訓練時間較長：完整的模型訓練和評估過程耗時較長，特別是在進行消融實驗和領域自適應時，可能影響實際應用中的迭代效率。
實際離譜的部分
- 領域自適應負向效果：在Case 1 -> Case 3的領域自適應實驗中，主蒸汽壓力和機組負荷的預測性能顯著下降，MSE增加了100%以上，這與預期的適應效果相反。這可能是因為不同工況下這些變量的變化模式差異過大，簡單的領域自適應方法無法有效處理。
- 數據集劃分可能存在問題：當前的數據集劃分方式可能沒有充分考慮時序數據的特性，導致模型在某些工況下的泛化能力有限。
- 模型復雜度與數據規模不匹配：Transformer模型在小數據集上可能存在過擬合風險，這可能是導致某些預測結果不理想的原因之一。
改進建議
- 優化領域自適應方法：考慮為不同輸出變量設計專門的適應策略，或采用更復雜的遷移學習方法。
- 數據增強：通過合成數據或數據變換技術擴充訓練集，提高模型的泛化能力。
- 模型簡化：針對數據規模較小的情況，考慮簡化模型結構或采用更適合小數據集的模型架構。
- 特征工程：深入分析不同工況下變量的變化規律，提取更有代表性的特征，提高模型的預測準確性。
- 集成學習：考慮結合多個模型的預測結果，可能會獲得更穩定的預測性能。
結論
本項目成功實現了基于LSTM+Transformer混合架構的超臨界機組控制系統建模，并通過消融實驗驗證了混合模型的有效性。領域自適應方法作為創新點，在某些變量的預測上取得了顯著效果，但也暴露出了一些問題。這些問題為未來的研究提供了方向，如何在不同工況間實現更有效的知識遷移將是一個值得深入研究的課題。
命令詳解：tar)
