1. 詞向量是一個詞的低維表示，詞向量可以反應語言的一些規律，詞意相近的詞向量之間近乎于平行。

2. 詞向量的實現：

? ? （1）首先使用滑動窗口來構造數據，一個滑動窗口是指在一段文本中連續出現的幾個單詞，這樣的單詞構成一個窗口。在這個窗口中最中間的詞叫做目標詞(Target), 其他的詞稱為上下文詞(Context)。

? ? （2）根據上下文詞（Context）預測目標詞（Target）的神經網絡模型叫做CBOW模型。

? ? （3）根據目標詞（Target）預測上下文詞（Context）的神經網絡模型叫做Skip-Gram模型。

3. CBOW模型示意：用never和late預測中間詞too的過程。

? ? （1）首先將never，late表示成onehot向量.

? ? （2）其次用這兩個onehot向量在最終要訓練的詞向量矩陣中，找到never，late對應的詞向量。然后把它們加起來做平均，這樣可以得到一個臨時的詞向量，維度和前面兩個相同。

? ? （3）用上面得到的臨時詞向量對詞表中每個詞做點乘，得到n個輸出，n是詞表大小。

? ? （4）對n個輸出做softmax，得到每個詞分類概率分布。

4. Skip-Gram模型示意：例子目標詞是Never，要預測出too，late，to， learn。過程是先讓模型去預測P(too/Never), 然后再預測P(late/Never)...

https://arxiv.org/abs/1301.3781