論文地址：https://dl.acm.org/doi/abs/10.1145/3637528.3671581

論文源碼：https://github.com/zqiao11/TSCIL

會議：SIGKDD 2024（CCF-A）

現實環境本質上是非平穩的，隨著時間推移常會引入新類別。這在時間序列分類中尤為常見，例如醫療領域出現新的疾病分類，或人類活動識別中增加新的活動類型。在此類情況下，要求學習系統有效吸收新類別，同時避免對舊類別的災難性遺忘，這便催生了類增量學習（CIL）問題。然而，盡管圖像和語言領域已取得令人鼓舞的進展，針對時間序列數據的類增量學習研究仍相對不足。現有研究存在實驗設計不一致的問題，因此需要在廣泛數據集上對方法進行全面評估與基準測試。為此，我們首先概述時間序列類增量學習（TSCIL）問題，強調其獨特挑戰并涵蓋先進方法。此外，基于標準化設置，我們開發了統一的實驗框架，該框架支持新算法的快速開發、新數據集的便捷集成以及評估流程的標準化。利用此框架，我們在標準場景和隱私敏感場景下對各種通用及時間序列特定的 CIL 方法進行了全面評估。我們的大量實驗不僅為未來研究提供了標準基線，還闡明了批量歸一化層或記憶緩沖區容量閾值等各種設計因素的影響。

論文主要提出了一個框架，該框架包含多種增量學習方法，可支持使用者自主選擇和添加算法，涵蓋基于正則化、經驗重放、生成式重放的方法及基線方法。

基于正則化的類增量學習方法

1. LwF（Learning without Forgetting）

• 特點：通過知識蒸餾（Knowledge Distillation）保留舊知識，在學習新類時最小化新舊任務輸出的差異。

2. MAS（Memory Aware Synapses）

• 特點：通過計算神經元對舊任務的重要性（突觸權重），在訓練新任務時施加正則化約束，防止關鍵參數遺忘。

3. DT2W（Deep Task-agnostic Two-stage Weighting）

• 特點：針對時間序列設計的任務無關權重加權方法，通過兩階段權重調整平衡新舊任務的學習。

基于經驗重放的方法

1. ER（Experience Replay）

• 特點：最基礎的經驗重放方法，利用記憶緩沖區存儲舊任務樣本，訓練時混合新舊數據以緩解遺忘。

2. DER（Deep Experience Replay）

• 特點：改進版經驗重放，可能通過更高效的樣本選擇或特征提取增強舊知識保留。

3. Herding

• 特點：基于聚類的樣本選擇策略，用代表性樣本（而非原始樣本）填充記憶緩沖區，減少存儲成本。

4. ASER（Asymmetric Experience Replay）

• 特點：非對稱經驗重放，可能通過調整新舊樣本的權重或采樣策略優化增量學習效果。

5. CLOPS（Class-Level Online Plasticity System）

• 特點：基于類級在線可塑性的系統，可能結合類別級別的樣本管理和重放策略。

6. FastICARL

• 特點：快速增量分類算法，可能通過高效的特征提取和分類器更新機制提升增量學習效率。

基于生成式重放的方法

1. GR（Generative Replay）

• 特點：利用生成模型（如 TimeVAE）生成舊任務的合成樣本，避免存儲原始數據，適用于隱私敏感場景。

基線方法

1. Naive

• 特點：直接微調模型以學習新類，不采取任何抗遺忘策略，作為性能下限。

2. Offline

• 特點：假設可以訪問所有歷史數據（非增量場景），作為理想情況下的性能上限參考。

這里我們基于UWave數據集+分類場景詳細解釋基于經驗重放、基于生成式重放和基于正則化的類增量學習方法。

首先我們介紹基于經驗重放的增量學習方法，該數據集經過劃分任務流，針對每個任務流進行實驗，當期模型訓練過程中會存儲一些樣本，同時會提取一些以往的樣本作為訓練數據。在存儲和提取過程中會進行一些算法設計，就形成了不同的基于經驗重構的增量學習方法。

其次，基于生成式重放的增量學習方法與基于經驗重放的方法類似，就是將緩存區變成生成器。

最后，基于正則化的類增量學習方法通過對上次任務的模型使用本次數據進行校驗作為正則化項約束對舊類別的預測。

探究批量歸一化（BatchNorm）與層歸一化（LayerNorm）對時間序列類增量學習（TSCIL）中模型準確率動態變化的影響，同時對比使用記憶緩沖區（經驗重放）的方法與無記憶方法的表現差異。

系統評估基于正則化（Regularization） 和經驗重放（Experience Replay, ER） 的類增量學習方法在時間序列數據上的性能，探究不同歸一化技術（BatchNorm 與 LayerNorm）對模型抗遺忘能力和增量學習效率的影響。

探究記憶緩存?大小對時間序列類增量學習中經驗重放（ER-based）方法的平均準確率的影響，同時對比批量歸一化（BatchNorm）與層歸一化（LayerNorm）在不同內存限制下的調節作用。

探究不同類型分類器在時間序列類增量學習（TSCIL）中的性能差異，通過消融實驗驗證交叉熵（CE） 和二元交叉熵（BCE） 訓練的單頭分類器對模型抗遺忘能力和增量學習效率的影響。

系統驗證生成式重放（Generative Replay, GR） 方法在時間序列類增量學習（TSCIL）場景下的有效性，重點評估其在不存儲原始數據的隱私敏感條件下，對舊類別知識的保留能力和新類別的學習效率，并通過多數據集對比揭示 GR 在時序數據中的適用邊界。

本文介紹了一種用于時間序列類增量學習（TSCIL）的統一評估框架。我們通過全面的對比分析，揭示了現有類增量學習（CIL）策略在解決TSCIL問題時的優勢與局限。通過大量實驗，我們評估了TSCIL的關鍵影響因素，包括算法類型、歸一化層選擇、記憶預算配置以及分類器設計。實驗發現，基于重放的方法普遍優于正則化技術，而使用層歸一化（LayerNorm）替代批量歸一化（BatchNorm）可顯著緩解穩定性-可塑性矛盾。我們進一步探討了時間序列數據特有的關鍵挑戰——這些挑戰對TSCIL的成功至關重要。結果與分析突出了歸一化處理、數據隱私保護和類內變異等問題的影響機制。我們堅信，本研究為TSCIL領域的研究與發展提供了有價值的參考。