GPT-2和GPT-3模型（包括其他類似系列）通常沒有內置的PAD token，因為它們主要用于生成任務，而這些任務通常不需要填充。然而，在一些特定任務（如批量處理或序列對齊）中，添加PAD token是必要的。你可以通過以下幾種方式添加PAD token，并且每種方法有其特定的用途和影響：
1. 使用已有的特殊token作為PAD token
可以將現有的特殊token（如EOS token）設置為PAD token。這種方法簡單直接，但需要確保該特殊token在模型的訓練和推理中不會引發歧義。?
tokenizer.pad_token = tokenizer.eos_token
2. 添加一個新的PAD token
你可以顯式地添加一個新的PAD token。這是最推薦的方法，因為它不會與其他特殊token混淆，并且你可以完全控制PAD token的行為。
?方法1：通過 add_special_tokens
tokenizer.add_special_tokens({'pad_token': '[PAD]'})
方法2：直接設置PAD token?
tokenizer.pad_token = '[PAD]'
3. 添加多個新的特殊token
如果需要同時添加多個特殊token（如PAD、CLS、SEP等），可以使用如下方法：
?
tokenizer.add_special_tokens({'pad_token': '[PAD]','cls_token': '[CLS]','sep_token': '[SEP]'
})
區別和影響
-
使用已有的特殊token作為PAD token：
- 優點：簡單快捷。
- 缺點：可能會在特定任務中引發歧義，因為相同的token可能在不同場景下有不同的意義。
-
添加新的PAD token：
- 優點：明確區分PAD token與其他特殊token，避免混淆。
- 缺點：需要重新調整模型的詞匯表和嵌入層。
-
添加多個新的特殊token：
- 優點：在需要多個特殊token的復雜任務中非常有用。
- 缺點：需要更多的資源和時間來處理和管理這些token。
添加PAD token的注意事項
- 重新訓練嵌入層：在添加新的特殊token后，需要重新訓練或調整模型的嵌入層，以包含新的token。
- 調整詞匯表大小：確保模型的詞匯表大小與添加的特殊token一致。
- 處理填充邏輯：在數據預處理和模型訓練中，需要正確處理填充邏輯，以確保模型正確理解和忽略填充部分。
例子
以下是一個添加PAD token并調整模型詞匯表的完整例子：
from transformers import GPT2Tokenizer, GPT2Model# 加載預訓練的GPT-2模型和tokenizer
tokenizer = GPT2Tokenizer.from_pretrained('gpt2')
model = GPT2Model.from_pretrained('gpt2')# 添加新的PAD token
tokenizer.add_special_tokens({'pad_token': '[PAD]'})# 調整模型詞匯表大小以匹配新的tokenizer
model.resize_token_embeddings(len(tokenizer))# 打印以驗證PAD token是否已成功添加
print(tokenizer.pad_token) # [PAD]
print(tokenizer.pad_token_id) # 新添加的PAD token的ID
?
?
