1. 背景與問題 (Background & Problem):??

• ?持續學習 (CL):?? 目標是在不遺忘舊任務知識的情況下，讓模型持續學習一系列新任務。主要挑戰是災難性遺忘。
• ?基于提示的持續學習 (PCL):?? 利用預訓練視覺Transformer (ViT)，凍結其權重，通過微調稱為“提示”(prompts)的小型可學習參數集來適應新任務。提示充當任務特定指令。
• ?現有方法的局限 (Limitations of Existing Methods):??
  • 現有整合提示的方法（如輸入條件加權求和[CODA-Prompt]或在任務共享空間中生成后合并[ConvPrompt]）產生的提示表示多樣性有限。
  • 原因：1) 固定表示無法適應新任務；2) 在易受任務干擾和主導的任務共享空間中生成的表示容易過擬合，泛化能力差。
  • 圖2分析表明，這種多樣性不足限制了模型在順序學習中獲得高精度和低遺忘的能力。更高的表示多樣性有助于提高精度和減少遺忘。

?2. 提出的方法：RainbowPrompt (Proposed Method: RainbowPrompt)??

• ?核心思想：?? 提出一種“提示進化”(prompt-evolving)方法，動態地重組和調整累積的任務特定提示（稱為“基礎提示”）的表示，使其更適應新任務，同時保留舊知識并增強表示多樣性。
• ?機制 (Mechanism):??
  • 維護一個累積的基礎提示集合 P = {p1, p2, ..., p?}（每個任務對應一個）。
  • 目標是整合這些提示為一個統一的“彩虹提示” p??????????。
  • 僅更新當前任務的基礎提示，凍結舊任務提示以保護其知識。
  • 通過引入可學習組件，對所有基礎提示進行轉換(transformation)?和對齊(alignment)?，促進知識遷移到新任務。
• ?關鍵步驟 (Key Steps):??
  1. ?基于注意力的轉換 (Attention-based Transformation):??
     • ?任務條件化 (Task Conditioning):?? 使用可學習的任務嵌入向量 e? 注入任務相關信息到基礎提示集合 P?。
     • ?任務級轉換 (Task-level Transformation):?