一. 詞的相似度表示

(1): 用一系列與該詞相關的詞來表示

(2): 把每個詞表示一個獨立的符號(one hot)

(3): 利用該詞上下文的詞來表示該詞

(3): 建立一個低維度的向量空間，用深度學習方法將該詞映射到這個空間里(Word Embedding)

二：語言模型

(1):?根據前面的詞序列，預測下一個詞出現的概率

? ? ???

(2):??根據一個已經生成的詞的序列，判斷是合法句子的概率

? ? ?

(3):? ? 聯合概率和條件概率的關系

? ? ???

? ? ?

(4): 語言模型，一個句子聯合的概率等于它里面的每個詞基于它前面出現詞的條件概率乘積

? ? ?

(5): N-gram Model?

? ? ? ? ?

?（6）：Neural Language Model , 比如要預測下一個詞出現的概率，就要對前文出現的詞表示成向量， 把向量拼成一起形成一個上下文向量，然后經過一個非線性轉換，然后就可以用這個向量預測下一個詞到底是什么。

? ? ? ? ? ?