LSTM有著不錯的時序信息提取能力，ResNet有著不錯的空間特征信息提取能力。如果現在有時空特征融合的創新需求，我們是否能將LSTM和ResNet兩者的優點融合起來呢？

隨著這個思路下去，LSTM + ResNet混合模型橫空出世，在各個需要時空特征融合的交叉領域奪得SOTA。比如一種基于監督對比學習與混合神經網絡架構的癲癇發作預測新方法。

該方法創新性地融合了ResNet特征提取器與LSTM時序建模模塊，在CHB-MIT標準數據集上取得了突破性表現。實驗結果表明，該模型在15分鐘預發作時間窗的預測任務中，以91.90%的準確率和89.64%的敏感性刷新了當前最優性能指標。

我精心整理的10篇LSTM + ResNet的論文將為大家提供全面的模型創新方法思路。

點擊【AI十八式】的主頁，獲取更多優質資源！

A ResNet-LSTM hybrid model for predicting epileptic seizures using a pretrained model with supervised contrastive learning

方法

1. 數據預處理

   • 使用短時傅里葉變換（STFT）將原始EEG信號轉換為包含時頻信息的頻譜圖，以解決EEG數據的復雜性和不規則性問題。

   • 通過滑動窗口算法進行過采樣，緩解數據不平衡問題。

   • 截取0-60 Hz頻段數據，去除高頻噪聲干擾。

2. 預訓練（Pretext Task）

   • 采用數據增強技術（如帶阻濾波、時間截斷）生成增強數據，提升模型魯棒性。

   • 使用ResNet-18結合監督對比損失進行預訓練，學習頻譜圖的表征，解決小樣本數據下的過擬合問題。

3. 下游任務訓練（Downstream Task）

   • 構建ResNet-LSTM混合模型：

     • ResNet提取頻譜圖的圖像特征。

     • LSTM捕獲時間序列依賴關系，結合ResNet的特征進行時序分析。

   • 使用交叉熵損失和隨機梯度下降（SGD）優化器進行端到端訓練。

4. 驗證與評估

   • 在CHB-MIT和SNUH數據集上采用留一交叉驗證。

創新點

1. 針對EEG數據的優化預處理

   • 提出基于STFT的頻譜圖轉換方法，將復雜EEG信號轉化為圖像形式，便于ResNet提取特征。

   • 結合滑動窗口過采樣和均衡采樣，有效緩解數據不平衡問題。

2. 監督對比學習的預訓練策略

   • 在預訓練階段引入監督對比損失，通過類內聚合和類間分離優化表征學習，顯著提升小數據集下的模型性能。

   • 結合數據增強技術（帶阻濾波、時間截斷）增強模型泛化能力。

3. ResNet-LSTM混合架構

   • 融合ResNet的圖像特征提取能力與LSTM的時序建模能力，同時利用頻譜圖的時頻信息。

   • 預訓練的ResNet權重初始化下游模型，加速收斂并提升預測精度。

4. 實驗結果優勢

   • 在CHB-MIT和SNUH數據集上分別達到91.9%和83.37%的準確率，靈敏度和FPR優于傳統方法。

   • 驗證了預訓練模型在患者特異性癲癇預測中的有效性，尤其對低靈敏度患者的性能提升顯著。

論文鏈接：https://www.nature.com/articles/s41598-023-43328-y

Short-Term Load Forecasting and Associated Weather Variables Prediction Using ResNet-LSTM Based Deep Learning

方法

1. ?數據預處理與特征重構

   • ?數據清洗：采用箱線圖方法處理異常值，確保數據質量。

   • ?特征相關性分析：通過皮爾遜相關系數分析負荷與天氣、經濟等變量的關聯性。

   • ?時間序列重構：將每個時刻的負荷數據擴展為包含歷史48個采樣點（24小時）的56維特征向量（含日期、天氣、價格、節假日等參數）。

   • ?數據標準化：使用Min-Max歸一化處理多源異構數據。

2. ?模型架構設計

   • ?ResNet特征提取：

     • 采用ResNet-18網絡，包含5個卷積模塊。

     • 殘差塊設計解決深度網絡梯度消失問題，通過跳躍連接保留原始特征。

     • 使用Batch Normalization加速訓練收斂。

   • ?LSTM時序建模：

     • 接收ResNet輸出的3D特征向量。

     • 包含2層LSTM網絡，通過Dropout防止過擬合。

     • 最終通過全連接層輸出預測結果。

3. ?多任務預測擴展

   • ?天氣變量預測：將模型應用于干球溫度、濕度等天氣變量的預測，驗證模型在關聯因素預測中的有效性。

4. ?實驗驗證

   • ?對比模型：與MLR、LSTM、CNN、ResNet、CNN-LSTM等模型對比。

   • ?評估指標：采用RMSE、MAPE、MAE、APE等指標評估預測精度。

   • ?計算效率分析：統計模型參數量（FLOPs）和運行時間。

創新點

1. ?混合模型架構創新

   • ?ResNet與LSTM深度融合：首次將ResNet用于負荷數據的空間特征提取，結合LSTM捕捉時序依賴性，解決傳統單一模型特征挖掘不足的問題。

   • ?殘差塊優化：通過跳躍連接保留原始特征，緩解深度網絡退化問題，提升梯度傳播效率。

2. ?多維特征重構策略

   • ?動態特征擴展：將當前時刻負荷與歷史48個時間點的負荷值聯合建模，構建56維動態特征向量，增強時間局部性建模能力。

   • ?多源數據融合：整合天氣、價格、節假日等異構數據，通過相關性分析篩選關鍵特征。

3. ?天氣變量預測拓展

   • ?關聯因素預測能力：首次驗證模型在干球溫度、濕度等天氣變量預測中的有效性，為負荷異常數據場景提供補充預測手段。

4. ?計算效率優化

   • ?輕量化設計：通過ResNet的特征降維（輸出3D向量）減少LSTM輸入維度，平衡模型復雜度與預測精度。

   • ?批標準化加速：在ResNet中引入Batch Normalization，提升訓練速度與穩定性。

5. ?實證效果突破

   • ?精度顯著提升：在澳大利亞昆士蘭數據集上，MAPE相比傳統模型降低3.8%到35.4%，RMSE降低10.1%到40.1%

   • ?多場景適用性：驗證模型在24小時、48小時及7天預測任務中的魯棒性，支持電力系統多時間尺度決策。

論文鏈接：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=10016697

點擊【AI十八式】的主頁，獲取更多優質資源！