一、為什么Prompt Tuning會生成模型文件?
1. Prompt Tuning的本質:優化可訓練的「提示參數」
- 核心邏輯:Prompt Tuning(提示調優)是一種輕量級的微調技術,僅優化模型輸入層的提示向量(Prompt Embedding)或少量額外參數,而非更新整個預訓練模型的權重。
- 生成模型文件的原因:
當優化完成后,訓練好的提示參數(如離散提示詞的索引、連續提示向量的數值)需要與原始預訓練模型結合,形成一個**「適配特定任務的新模型」**。這個新模型包含兩部分:- 固定的預訓練模型主體(如BERT、GPT的權重不變)。
- 優化后的提示參數(作為模型的新增輸入層或前綴參數)。
因此,保存模型文件時,需要將提示參數與原始模型的結構信息(如提示向量的維度、位置)一起存儲,以便后續推理時正確加載和使用。