之——從時序中獲取信息

目錄

之——從時序中獲取信息

雜談

正文

1.建模

2.方案A-馬爾科夫假設

3.方案B-潛變量模型

4.簡單實現

---

雜談

? ? ? ? 很多連續的數據都是有前后的時間相關性的，并不是每一個單獨的數據是隨機出現的。在時序中會蘊含一些空間結構的變化信息、先驗因素、趨勢與常理。

? ? ? ? 而且序列數據在日常生活中是相當多的。
? ? ? ?

---

正文

1.建模

????????樣本都是相互不獨立的，存在一定的聯合概率。

? ? ? ? 那么所有樣本按照當前形式出現的概率就是如下：

? ? ? ? 也就是之前的會影響之后的。當然反過來寫也是可以的，滿足最上面的反序列。

? ? ? ? 而最后的核心就是我希望給定之前的能得到新的概率，也就是：

? ? ? ? 對此建模得到：?

? ? ? ? f就是要訓練和學習的模型，被稱為自回歸模型，也即用模型預測下一個模型。

? ? ? ? 分解為兩個任務，f的學習，p的產生。

---

2.方案A-馬爾科夫假設

? ? ? ? 假設當前數據只跟τ個過去數據點相關。把往回看的視野規定一個長度，一個固定的視野長度。

? ? ? ? 這樣子就是給一個定長向量要回歸預測一個標量，那么就直接就是一個感知機的擬合就行。

---

3.方案B-潛變量模型

? ? ? ? 引入潛變量來表示過去信息。

? ? ? ? ?不斷地更新潛在變量和新的變量。

---

4.簡單實現

? ? ? ? 通過對一個加噪音的正弦函數進行一個數據配對來用馬爾科夫進行擬合，實際上就是一個線性回歸。

? ? ? ? 配對好然后進行訓練：

? ? ? ? 細節見教材。這是一個極其簡單的操作，真正比較有難度的是根據新生成的繼續預測后面的數據，直接進行迭代是沒戲的，每一次往后迭代的誤差會不斷累積，希望預測得越多，偏離會越離譜：