The Power of Scale for Parameter-Efficient Prompt Tuning
ruatishi
軟提示向量 具體是什么
《The Power of Scale for Parameter-Efficient Prompt Tuning》中增加的部分是“軟提示(soft prompts)”,這是一種針對特定下游任務,添加到輸入文本中的可調參數序列。它與傳統離散文本提示不同,通過反向傳播學習得到,能夠融入來自多個標記示例的信息,從而引導凍結的預訓練語言模型完成特定任務。
- 軟提示在文本分類任務中的應用:在文本分類任務中,軟提示被添加到輸入文本之前。假設要對影評進行情感分類(積極或消極),傳統方法可能會直接將影評文本輸入模型。而在使用軟提示的情況下