有哪些詞編碼模型

詞編碼模型：是將自然語言符號映射為稠密的高維向量，使語義相近的詞匯在向量空間中位置接近。

不過，也有部分模型會考慮字母或字符信息，如基于字節對編碼（BPE）的模型會將單詞拆分成子詞，這里的子詞可能是字母組合。

詞編碼模型的原理主要是通過機器學習算法，在大規模文本語料庫上學習詞的語義表示，將詞映射到一個低維向量空間，使得向量之間的關系能夠反映詞與詞之間的語義關系，如相似性、相關性等。常見的詞編碼模型原理如下：

• Word2Vec原理：Word2Vec是一個兩層神經網絡，可通過處理文本數據生成詞向量。它有連續詞袋模型（CBOW）和跳字模型（Skip - gram）兩種架構。

CBOW模型根據目標詞周圍的上下文詞來預測目標詞，如對于句子“the cat sat on the mat”，若目標詞是“cat”，則利用“the”“sat”“on”“the”“mat”來預測“cat”。

Skip - gram模型則相反，它根據目標詞來預測其周圍的上下文詞，即以“cat”為輸入，預測“the”“sat”“on”“the”“