小波變換作為一種新興的信號分析工具，能夠高效地提取信號的局部特征，為復雜數據的處理提供了有力支持。然而，它在捕捉數據中最為關鍵的部分時仍存在局限性。為了彌補這一不足，我們引入了注意力機制，借助其能夠強化關注重點的優勢，將小波變換與注意力機制相結合。這種結合不僅能夠更全面、深入地挖掘數據特征，還能顯著提升模型的性能和對復雜數據的處理能力。

這種創新的結合方式不僅在技術層面具有開創性，更在實際應用中展現出巨大的潛力。例如，在滾動軸承故障分類任務中，一種新穎的方法將一維改進的自注意力增強卷積神經網絡與經驗小波變換相結合，最終實現了100%的分類準確率。這一成果充分證明了小波變換與注意力機制結合的強大效果。

在學術界和工業界，小波變換與注意力機制的結合正變得越來越熱門。它在去噪、檢測等眾多任務中均表現出色，為相關領域的研究和應用提供了新的思路和方法。同時，這一結合也為未來的研究提供了廣闊的創新空間。

為了幫助有志于發表論文的同學們，我精心挑選了11篇最新的小波變換與注意力機制結合的創新方案。這些方案的代碼大多已經開源，方便大家復現和尋找靈感。

我整理了一些時間序列【論文+代碼】合集，需要的同學公人人人號【AI科研算法paper】發666自取。

我還整理出了相關的論文+開源代碼，以下是精選部分論

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 論文1

標題:

Attention-Based CNN Fusion Model for Emotion Recognition During Walking Using Discrete Wavelet Transform on EEG and Inertial Signal

基于注意力機制的卷積神經網絡融合模型，用于在行走過程中通過離散小波變換對EEG和慣性信號進行情緒識別

方法：

• 使用虛擬現實頭戴式顯示器（VR-HMD）設備刺激受試者的情緒，同時收集行走過程中的EEG和慣性信號。

• 通過離散小波變換（DWT）將多模態信號分別表示為虛擬情緒圖像，作為輸入提供給基于注意力機制的卷積神經網絡（CNN）融合模型。

• 設計了一個簡單輕量級的網絡結構，整合了通道注意力機制，以提取和增強特征。

• 提出了一種決策融合算法，結合了Critic方法和多數投票策略，以確定影響最終決策結果的權重。

創新點：

• 提出了一個新的方法，通過多模態融合和端到端深度學習訓練，準確地識別行走過程中的情緒。

• 設計了一種基于DWT的簡單有效的特征轉換方法，將輸入信號表示為時頻域。

• 開發了一種結合通道注意力機制的CNN結構，CNN根據傳感器多通道信號的相關性提取區分性特征，通道注意力機制自適應地強調特征圖中的關鍵部分，以實現進一步的特征優化。

• 提出了一種決策融合算法，使用評估矩陣和Critic方法對可能影響最終決策的預測標簽進行加權，根據多數投票策略獲得行走過程中情緒的最終預測結果。

• 使用VR-HMD設備使受試者沉浸在虛擬環境中，以產生快樂和恐懼情緒，從而刺激真實而深刻的情緒。

• 性能提升的具體數據：

• 提出的方法在比較實驗中表現優于其他現有的最先進工作，準確率達到98.73%。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? 論文2

標題：

Capsule Endoscopy Multi-classification via Gated Attention and Wavelet Transformations

通過門控注意力和小波變換進行膠囊內鏡多分類

方法：

• 結合了Omni Dimensional Gated Attention（OGA）機制和小波變換技術，以增強模型在膠囊內鏡圖像中的特征提取能力。

• 利用小波變換技術，包括Stationary Wavelet Transform（SWT）和Discrete Wavelet Transform（DWT），來捕獲圖像的空間和頻率域信息。

• 將從SWT和DWT提取的特征進行通道級連接，以捕獲多尺度特征，這對于檢測息肉、潰瘍和出血等病變至關重要。

• 使用基于ResNet的編碼器-解碼器框架，其中編碼器利用修改后的ResNet18骨干網絡提取輸入幀的復雜多級特征

創新點：

• 提出了一種新的深度學習模型，通過結合OGA機制和小波變換技術，提高了對胃腸道異常的自動分類能力。

• 通過OGA動態生成空間、通道、濾波器和核級注意力，使模型能夠專注于每個維度中的相關特征。

• 利用SWT和DWT特征捕獲多尺度信息，這對于準確區分不同類型的異常至關重要。

• 模型在不平衡的膠囊內鏡數據集上實現了更高的分類準確率。性能提升的具體數據：

• 提出的模型在訓練集上達到了92.76%的準確率，在驗證集上達到了91.19%的準確率。

• 平衡準確率（Balanced Accuracy）為94.81%，AUC為87.49%，F1分數為91.11%，精確度為91.17%，召回率為91.19%，特異性為98.44%。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?論文3

標題：

Enhanced Fault Diagnosis in Motor Bearings: Leveraging Optimized Wavelet Transform and Non-Local Attention

利用優化的小波變換和非局部注意力提升電機軸承故障診斷

方法：

• 提出了一種新的方法，結合優化的連續小波變換（OCWT）和非局部卷積塊注意力模塊（NCBAM）來提升電機軸承故障診斷的準確性。

• 使用技能優化算法（SOA）對OCWT進行微調，SOA分為兩個關鍵部分：獲取專業知識（探索）和增強個體能力（利用）。

• NCBAM用于分類，能夠捕捉空間和通道維度上的長程依賴關系。

• 模型使用學習矩陣，能夠綜合空間、通道和時間數據，通過提取復雜的相關性來平衡不同數據的貢獻

創新點：

• 提出了一種新的故障診斷方法，通過結合優化的小波變換和非局部注意力機制，顯著提高了電機軸承故障診斷的準確性。

• 通過SOA對OCWT進行優化，提高了小波變換的性能。

• 利用NCBAM捕捉長程依賴關系，增強了特征學習和分類性能。

• 通過學習矩陣綜合多維度數據，提高了模型對復雜工業數據的處理能力。

• 性能提升的具體數據：

• 在軸承數據集上，模型達到了平均準確率94.17%。

• 在齒輪箱數據集上，模型達到了平均準確率95.77%。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?論文4

標題：

Streamflow modelling and forecasting for Canadian watersheds using LSTM networks with attention mechanism

使用帶有注意力機制的LSTM網絡對加拿大流域的徑流建模和預測

方法：

• 研究了序列到序列的機器學習（ML）架構，特別是標準和基于注意力的編碼器-解碼器長短期記憶（LSTM）模型，用于加拿大流域的徑流預測。

• 這些模型使用過去水文氣象狀態和每日氣象數據作為輸入，預測未來幾天的徑流。

• 在加拿大五大湖圣勞倫斯地區的10個不同流域進行了測試，這些流域位于加拿大經濟中心地帶。

創新點：

• 首次將注意力機制應用于加拿大水文學，證明了其在徑流預測中的重要性和有效性。

• 注意力模型在所有流域中均顯著優于標準模型，特別是在未見數據上的表現更為突出。

• 提出了基于LSTM的編碼器-解碼器架構，能夠處理序列到序列的預測問題，將固定長度的輸入向量映射到固定長度的輸出向量。性能提升的具體數據：

• 注意力模型在未見數據上的平均Nash–Sutcliffe效率為0.985，Kling-Gupta效率為0.954，遠高于標準模型的0.668和0.827。

• 注意力模型在預測當天徑流（零天預測）時，平均RMSE為8.2 m3/s，而標準模型為40.39 m3/s，顯示出顯著的性能提升。