python-bert模型基礎筆記0.1.015
- TODOLIST
- 官網中的微調樣例代碼
- Bert模型的微調限制
- Bert的適合的場景
- Bert多語言和中文模型
- Bert模型兩大類
- 官方建議模型
- Bert模型中名字的含義
- Bert模型包含的文件
- Bert系列模型參數介紹
- 微調與遷移學習區別
- Bert微調的方式
- Pre-training和Fine-tuning區別
- 關于Fine-tuning需要的硬件資源
- 模型后綴介紹
- Bert微調代碼
- Bert的pytorch版本
- 參考鏈接
2024年6月7日19:15:13----0.1.095
2024年6月7日19:32:17----0.1.096
TODOLIST
- 下游任務
- 小數據微調模型
- 增量訓練
官網中的微調樣例代碼
- 句子分類的樣例代碼：run_classifier.py
- 完形填空的例子：run_squad.py
- 句子編碼的例子：extract_features.py
Bert模型的微調限制
我們做的具體領域任務對網絡的設計要求必然得和預訓練任務是一致的，主要包含下面兩種任務：
任務一：屏蔽語言模型（Masked LM）
任務二：相鄰句子判斷（Next Sentence Prediction）
Bert的適合的場景
裸跑都非常優秀，句子級別（例如，SST-2）、句子對級別（例如MultiNLI）、單詞級別（例如NER）和跨度級別（例如SQuAD），一般有如下場景：
- 一種是 fine-tune（微調）方法，
- 一種是 feature extract（特征抽取）方法，就是直接獲取預訓練的BERT模型的輸出作為特征，對預訓練的BERT的模型參數不會有任何改動。
Bert多語言和中文模型
參考鏈接：https://github.com/google-research/bert/blob/master/multilingual.md
- 中文簡繁體模型（BERT Chinese-only Model ）
BERT-Base, Chinese: Chinese Simplified and Traditional, 12-layer, 768-hidden, 12-heads, 110M parameters - 其他非拉丁字母文本模型（BERT Multilingual Model ）
BERT-Base, Multilingual Cased (New, recommended): 104 languages, 12-layer, 768-hidden, 12-heads, 110M parameters
BERT-Base, Multilingual Uncased (Orig, not recommended): 102 languages, 12-layer, 768-hidden, 12-heads, 110M parameters
Bert模型兩大類
BERT-Base 和 BERT-Large
官方建議模型
- Uncased
