這篇論文的創新點主要集中在PatchTST模型的設計和應用中。以下是對其創新點的詳細說明：

創新點

1. 頻道獨立補丁設計：PatchTST模型通過將多變量時間序列分割成不同的頻道，每個頻道作為單變量時間序列處理。每個頻道獨立地通過實例歸一化操作和補丁分割過程，避免了傳統方法中可能的頻道間信息混雜，提高了模型的泛化能力和效率。

2. 補丁（Patching）：補丁設計的引入顯著減少了模型的時間和空間復雜度。通過將輸入序列分割成長度為$P$的補丁，并以步幅$S$進行非重疊分割，使得輸入標記的數量從$L$減少到$L/S$。這使得注意力圖的內存使用和計算復雜度減少了$S$倍，從而在計算資源有限的情況下允許模型查看更長的歷史序列。

3. 自監督表示學習：引入了掩碼自監督學習機制，通過隨機選擇并掩碼部分補丁，模型被訓練來重建這些被掩碼的補丁。這樣，模型不僅在監督預測任務中表現出色，還能在無標簽數據上學習有用的表示，從而提高了表示的通用性和遷移能力。

公式詳細解釋

補丁過程公式

$$N=?\frac{L?P}{S}?+2$$
其中，$N$是補丁的數量，$L$是輸入序列長度，$P$是補丁長度，$S$是步幅。這個公式用于計算輸入序列在分割成補丁后的補丁數量。

補丁的生成過程可以用以下公式描述：
$${\mathbf{x}}_p^{(i)}\in {\mathbb{R}}^{P\times N}$$
其中，${\mathbf{x}}_p^{(i)}$是第$i$個單變量序列的補丁矩陣，維度為$P\times N$。

Transformer編碼器

補丁通過可訓練的線性投影映射到Transformer潛在空間：
$${\mathbf{x}}_d^{(i)}={\mathbf{W}}_p{\mathbf{x}}_p^{(i)}+{\mathbf{W}}_{pos}$$
其中，${\mathbf{W}}_p\in {\mathbb{R}}^{D\times P}$是線性投影矩陣，${\mathbf{W}}_{pos}\in {\mathbb{R}}^{D\times N}$是可學習的加性位置編碼，${\mathbf{x}}_d^{(i)}\in {\mathbb{R}}^{D\times N}$是投影后的補丁表示。

多頭注意力機制的計算公式為：
$${\mathbf{Q}}_h^{(i)}=({\mathbf{x}}_d^{(i)}{)}^T{\mathbf{W}}_h^Q,{\mathbf{K}}_h^{(i)}=({\mathbf{x}}_d^{(i)}{)}^T{\mathbf{W}}_h^K,{\mathbf{V}}_h^{(i)}=({\mathbf{x}}_d^{(i)}{)}^T{\mathbf{W}}_h^V$$
其中，${\mathbf{W}}_h^Q,{\mathbf{W}}_h^K\in {\mathbb{R}}^{D\times d_k}$，${\mathbf{W}}_h^V\in {\mathbb{R}}^{D\times D}$。

注意力輸出的計算公式為：
$$({\mathbf{O}}_h^{(i)}{)}^T=\text{Attention}({\mathbf{Q}}_h^{(i)},{\mathbf{K}}_h^{(i)},{\mathbf{V}}_h^{(i)})=\text{Softmax}\left(\frac{{\mathbf{Q}}_h^{(i)}({\mathbf{K}}_h^{(i)}{)}^T}{\sqrt{d_k}}\right){\mathbf{V}}_h^{(i)}$$

損失函數

$$\mathcal{L}={\mathbb{E}}_{\mathbf{x}}\frac{1}{M}\sum _{i=1}^M{\Vert {\hat{\mathbf{x}}}_{L+1:L+T}^{(i)}?{\mathbf{x}}_{L+1:L+T}^{(i)}\Vert }_2^2$$
該公式表示我們選擇使用均方誤差（MSE）損失來衡量預測值與真實值之間的差異。每個頻道中的損失匯總并在$M$個時間序列上取平均值，以獲得總體目標損失。

結論

論文通過創新性的PatchTST模型，利用補丁分割和自監督學習顯著提高了時間序列預測的性能。通過減少計算復雜度和提高表示學習能力，PatchTST展示了其在處理長時間序列預測任務中的優勢。