介紹

NLP當前的趨勢包括下載和微調具有數百萬甚至數十億參數的預訓練模型。然而，存儲和共享如此大的訓練模型非常耗時、緩慢且昂貴。這些限制阻礙了 RoBERTa 模型開發更多用途和適應性更強的 NLP 技術，該模型可以從多個任務中學習并針對多個任務進行學習；在本文中，我們將重點關注序列分類任務。考慮到這一點，提出了適配器，它們是小型、輕量級且參數高效的完全微調替代方案。它們基本上是小型瓶頸層，可以使用基于不同任務和語言的預訓練模型動態添加。

讀完本文后，您將了解以下內容：

• 如何在 Amazon Polarity 數據集上訓練 RoBERTa 模型的適配器以執行序列分類任務？
• 如何使用經過訓練的帶有 Hugging Face 管道的適配器來幫助快速進行預測？
• 如何從訓練好的模型中提取適配器并保存以供以后使用？
• 如何通過停用和刪除適配器來將基本模型的權重恢復到原始形式