Prompt Tuning、Prefix Tuning和P - Tuning的區別
- 概念方面：
- Prompt Tuning：在輸入序列前添加可訓練的額外Token以適配下游任務，預訓練語言模型參數不變。比如在文本分類中，在句子前加特定Token如“(OPINION)”，讓模型理解是對觀點進行分類的任務。
- Prefix Tuning：在每層Transformer結構輸入前都添加一組可訓練的Token，使模型每層處理輸入時都考慮這些額外信息。例如在機器翻譯任務中，在每層輸入前加“(TRANSLATION)”相關的可訓練Token，讓模型更好地進行翻譯任務。
- P - Tuning：Prompt Tuning的變體，在特定位置插入可訓練的Token，早期版本位置不固定，后來的P - Tuning v2在每層也加入了Prompt tokens。如在命名實體識別任務中，在文本中實體可能出現的位置附近插入可訓練Token來引導模型識別實體。
- 操作方式方面<
教程 | Excel文檔自動批量AI文檔生成實戰，中級開篇)
)
