隨著大數據與深度學習的發展，時間序列分析的建模能力顯著提升，而掩碼重建作為一種自監督學習范式，已成為提升序列表征能力的重要技術。該方法通過隨機掩碼部分數據并重建原始序列，迫使模型挖掘時序依賴性與潛在模式，在減少標注依賴的同時增強魯棒性。近年來，相關研究聚焦于如何結合掩碼策略優化特征提取、解決噪聲與缺失值問題，并探索與非平穩性、多變量交互等復雜場景的適配性。
我整理了時間序列+掩碼重建領域的前沿論文，涵蓋不同掩碼機制與Transformer、GAN等架構的融合創新，供大家學習與參考，有需要可以自取。
論文這里
一、An Experimental Reservoir-Augmented Foundation Model: 6G O-RAN Case Study
1. 方法
本文提出了一種新型的時間序列基礎模型 RA-MAT，旨在處理6G開放無線接入網絡（O-RAN）中生成的超高維、非平穩時間序列數據。RA-MAT結合了回聲狀態網絡（ESN）計算與掩碼自編碼技術，以滿足6G O-RAN測試對延遲、能效和可擴展性的嚴格要求。它通過固定的隨機初始化ESN快速將每個時間片段投影到豐富的動態嵌入中，避免了時間反向傳播的計算開銷。
2. 創新點
-
融合ESN與Transformer的創新架構
將回聲狀態網絡（ESN）與掩碼自編碼Transformer結合，通過固定隨機初始化權重，快速將時間序列片段投影為動態嵌入，既保留時序非線性特征，又避免反向傳播的高計算成本。 -
面向6G場景的工程優化
針對6G網絡超高維、非平穩時序特性，模型通過ESN的動力學系統建模能力捕捉復雜模式，并結合Transformer的全局注意力機制增強跨片段關聯分析，最終在O-RAN測試中實現MSE < 0.06的高精度預測，驗證了其在實時性、魯棒性方面的實用性。
論文鏈接：https://arxiv.org/abs/2508.07778v1
代碼鏈接：https://github.com/frezazadeh/Time-Series-Foundation-Model
二、Spatial Imputation Drives Cross-Domain Alignment for EEG Classification
1.方法
本文介紹了一種新穎的自監督學習框架IMAC，旨在解決跨域腦電圖（EEG）分類中的數據偏移問題。IMAC通過引入通道依賴的掩碼和插補機制，將跨域EEG數據的對齊問題視為空間時間序列插補任務。
2. 創新點
-
跨域問題重構
首次提出將跨域腦電（EEG）分類中的數據偏移問題轉化為時空信號插補任務，通過模擬通道缺失與重建對齊異構域分布。 -
動態通道掩碼機制
設計通道依賴的自適應掩碼策略，根據域間差異程度動態選擇掩碼位置。相比于隨機掩碼，該方法能更精準地模擬真實場景下的數據偏移模式，增強模型對未知域的泛化能力。 -
時間-空間解耦建模：
提出分解式時空表示模塊，將EEG信號分離為獨立的時間動態成分與空間依賴成分。通過雙分支結構分別學習時間局部相關性與跨通道空間關系，避免跨域噪聲干擾關鍵特征。 -
混合損失聯合優化
結合插補損失（重建EEG信號）、對比損失（域不變特征學習）與分類損失（下游任務導向），多目標協同驅動模型平衡跨域對齊與分類性能，抑制過擬合特定域噪聲的問題。
論文鏈接：https://arxiv.org/abs/2508.03437v1
三、IMTS is Worth Time Channel Patches: Visual Masked Autoencoders for Irregular Multivariate Time Series Prediction
1. 方法
本文提出了一種新穎的框架VIMTS，旨在處理不規則多變量時間序列（IMTS）預測。該框架利用視覺預訓練的掩碼自編碼器（MAE）來建模稀疏的多通道數據。解碼過程中采用粗到細的策略，從補丁逐步生成精確的時間點預測。
2. 創新點
-
異構數據統一表征策略
提出時間對齊的特征補丁化編碼方法，將多變量時間序列切割為跨通道的連續時間塊，并引入通道相關性補償層，動態融合不同傳感器通道的關聯信息，緩解缺失值導致的局部模式斷裂問題。 -
粗到細漸進式解碼機制
解碼器采用分層重構策略,首先生成粗粒度的全局趨勢預測，再通過殘差細化網絡逐步校正細節。該方法顯著提升對長程依賴和局部突變的聯合建模能力，避免一步預測的誤差累積。 -
兩階段輕量化適配框架：
通過自監督預訓練（掩碼重建） + 監督微調兩階段策略，最大化利用無標注數據提取通用時序模式，同時減少下游任務對標注數據量的需求。
論文鏈接：https://arxiv.org/abs/2505.22815v2
代碼鏈接：https://github.com/WHU-HZY/VIMTS
