2021 ACL

• 固定預訓練LM，為LM添加可訓練，任務特定的前綴
  • 這樣就可以為不同任務保存不同的前綴
  • 這種前綴可以看成連續可微的soft prompt，相比于離散的token，更好優化，效果更好
• 訓練的時候只需要更新prefix部分的參數，固定LM部分的參數即可

• 對于自回歸模型，在句子前面添加前綴，得到 z = [PREFIX; x; y]

• 對于encoder-decoder模型：Encoder和Decoder都增加了前綴，得到 z = [PREFIX; x; PREFIX0; y]
  • Encoder端增加前綴是為了引導輸入部分的編碼
  • Decoder 端增加前綴是為了引導后續token的生成
• 
  • Prefix-tuning略優于Infix-tuning
    • Infix-tuning形式為 [x; INFIX; y]
    • Prefix-tuning形式為 [PREFIX; x; y]
• 直接學習參數效果不好，需要使用MLP對Pθ進行reparameter修正
  • Pθ[i,:] = MLP(Pθ'[i,:])