目錄
一、序列標注任務
?常見子任務
二、?命名實體識別（NER）
（一）簡介
（二）目標
（三）應用場景
?（四）基本方法
（五）工具與資源?
?
一、序列標注任務
?常見子任務
- 命名實體識別(Named Entity Recognition，NER)
- 詞性標注(Part-of-Speech Tagging, Pos Tagging)
- 中文分詞(Word segmentation)
- 語義角色標注(Semantic Role Labeling, SRL)
二、命名實體識別（NER）
（一）簡介
????????命名實體識別(Named EntityRecognition,NER)任務是序列標注任務的一個典型子任務。其目標是識別文本中具有特定意義的實體，并進行分類。
舉個栗子
“梅西率領阿根廷隊奪得美洲杯冠軍。”?如果使用命名實體識別模型，它的輸出可能是:
- 梅西(PER)
- 阿根廷(LOC)
- 美洲杯(EVENT)
這表明，NER 任務不僅理解文本的內容，還能精確定位并分類文本中的重要信息，為下游任務(如信息抽取、知識圖譜構建)提供支撐。?
（二）目標
1. 識別文本中所有的命名實體。
舉個栗子：
- 原文： "蘋果公司總部位于加利福尼亞州庫比蒂諾。"
- 識別結果： "蘋果公司"(實體)、"加利福尼亞州"(實體)、"庫比蒂諾"(實體)。
2. 分類這些命名實體，確保它們被正確標注為人名、地名、組織名等。
舉個栗子：
- "蘋果公司"→組織名(ORG)
- "加利福尼亞州">地名(LOC)
- "庫比蒂諾">地名(LOC)
（三）應用場景
- 信息抽取
????????例如，從新聞報道中提取出所有的地名和人物名，形成結構化的數據，便于分析。
- 問答系統
????????在問答系統中，NER用于識別用戶提出問題中的關鍵信息(如時間、地點、人物等)，從而幫助系統理解用戶的意圖。
- 輿情分析
????????在社交媒體或新聞分析中，NER可以幫助識別涉及的公司、政府機構、知名人物等，從而輔助輿情監控與分析。
- 搜索引擎優化
????????提高搜索引擎對用戶查詢的理解，比如“蘋果手機"應與Apple 產品相關，而非水果。?
（四）基本方法
1.? 基于規則的方法
????????通過手工編寫規則來識別命名實體。例如，使用正則表達式來匹配日期、時間或特定的名稱。這些方法優點是可解釋性強，但缺點是規則需要手動更新，且難以覆蓋所有的命名實體情況。
2.? 基于統計的方法
????????通過統計學習算法，如隱馬爾可夫模型(HMM)、條件隨機場(CRF)來自動從大量標注好的文本中學習命名實體的模式。這些方法可以自動處理復雜的語言特征，但需要大量的訓練數據。
3.? 基于深度學習的方法
????????使用深度學習模型，如循環神經網絡(RNN)、長短期記憶網絡(LSTM)和 Transformer 模型這些模型可以更好地捕捉上下文信息，從而提高識別效果。近年來，基于預訓練語言模型(如BERT、GPT)的方法成為 NER 的主流。
- RNN/LSTM+CRF:利用循環神經網絡(RNN)、長短時記憶網絡(LSTM)結合CRE進行序列標注
- Transformer+BERT:利用預訓練語言模型(如 BERT、ROBERTa)進行上下文敏感的命名實體識別，取得了SOTA(State-of-the-Art)級別的性能。
（五）工具與資源?
- NLTK
????????一個經典的Python NLP庫,雖然功能強大，但其NER模塊的性能通常不如SpaCy。
- SpaCy
????????一個非常流行的NLP庫，提供了高效的NER功能，支持多種語言，并且具有豐富的預訓練模型。
- Stanford NER
????????由斯坦福大學開發的一款高性能命名實體識別工具，支持多種實體類型。
- BERT及其變種
????????通過微調預訓練BERT模型，可以在NER任務中取得出色的效果。Google、HuggingFace等提供了基于BERT的預訓練NER模型。
)
