1.緒論

探索數據背后的隱藏規律，這不僅是數據分析的藝術，更是概率模型展現其威力的舞臺。在這一過程中，潛在變量模型尤為關鍵，它成為了數據驅動問題解決的核心引擎。潛在變量模型的基本理念在于，那些看似復雜、雜亂無章的數據表象之下，往往隱藏著一種更為簡潔、有序的結構和規律，只是這些規律和結構并不直接顯露在表面。

我們的目標，便是利用概率模型作為探照燈，深入數據的迷宮，去揭示那些隱藏的規律。潛在變量模型，正是我們手中的強大工具，它能幫助我們挖掘出那些隱藏在數據背后的結構，揭示出數據間的內在聯系。這些挖掘出的規律和結構，將成為我們解決問題的關鍵，引導我們找到更有效的解決策略。

因此，在數據驅動的決策和研究中，潛在變量模型發揮著不可替代的作用。它讓我們能夠更深入地理解數據，更準確地把握問題，更高效地找到解決方案。這就是潛在變量模型在數據驅動問題中的核心作用，也是概率模型揭示數據背后隱藏規律的藝術所在。

潛在變量模型在幾個關鍵領域的實際應用示例如下：

1. 消費者行為研究：

   • 潛在變量模型在消費者行為研究中具有廣泛的應用。例如，汽車制造商可以通過潛在變量模型來研究消費者對汽車品牌的品牌忠誠度、購買意愿等潛在因素。這些潛在因素可以幫助汽車制造商更準確地理解消費者需求，從而制定更有效的市場策略。
   • 潛在變量模型的應用不僅限于汽車行業，它可以適用于各種消費品和服務的市場研究。通過揭示消費者的潛在動機和偏好，企業可以更加精準地定位目標市場，提升市場競爭力。

2. 金融風險管理：

   • 在金融領域，潛在變量模型被廣泛應用于風險管理。研究者可以利用潛在變量模型來研究金融市場的波動性、相關性等潛在因素，以更好地評估和管理風險。
   • 例如，在投資組合管理中，潛在變量模型可以幫助投資者識別不同資產之間的潛在關聯和依賴關系，從而構建更加穩定和高效的投資組合。此外，潛在變量模型還可以用于金融市場的預測和建模，幫助投資者做出更準確的投資決策。

3. 社會科學研究：

   • 在社會科學領域，潛在變量模型同樣具有廣泛的應用。例如，在社會網絡分析中，潛在變量模型可以揭示出社會網絡內部的潛在結構和特征，幫助研究者理解社會網絡的動態變化和影響因素。
   • 此外，在教育研究中，潛在變量模型可以用于研究學生的學習能力、心理特質等潛在因素，以評估教育政策的效果和改進教學方法。

4. 醫學與生物學：

   • 在醫學和生物學領域，潛在變量模型被用于揭示疾病發生的潛在機制和生物特性的潛在影響因素。例如，在遺傳學研究中，潛在變量模型可以幫助研究人員識別出形成遺傳疾病的潛在基因和基因組合。
   • 在流行病學研究中，潛在變量模型可以用于研究疾病的傳播模式和影響因素，以制定更有效的預防和控制措施。

潛在變量模型在消費者行為研究、金融風險管理、社會科學研究和醫學與生物學等多個關鍵領域都具有廣泛的應用。通過揭示數據背后的潛在規律和關聯，潛在變量模型為各個領域的研究提供了有力的工具和方法。

1.1 博克斯循環

我們認為，構建和應用潛在變量模型是解決數據分析問題的一個反復迭代的流程。首先，基于你推測數據中可能存在的隱藏結構類型，構建一個基礎模型。接著，針對一個數據集，利用推斷算法來近似估計后驗概率——即在給定數據的情況下，隱藏變量的條件分布——它揭示了數據所展現的具體隱藏模式。最終，利用后驗概率來評估模型與數據的契合度，找出模型成功和失敗的關鍵方面。如果結果令人滿意，便使用該模型來解決問題；如果不滿意，則根據評估結果調整模型，并重新啟動這一循環。圖1展示了這一流程。
圖1： 博克斯循環
我們將上述循環稱為“博克斯循環”。博克斯循環，作為對喬治·博克斯及其同事自20世紀60年代提出的科學方法論的現代詮釋，強調了一種迭代的科學探索流程。這一流程以實驗設計為起點，明確研究目標與所需數據，進而通過精心設計的實驗步驟來收集信息。在數據收集階段，重視數據的準確性與完整性，既包括定量數據也涵蓋定性數據。

隨著數據的匯聚，下一步是模型構建，這一階段需要選擇合適的模型類型并確定其參數，目的是建立一個能夠準確描述數據規律的數學或統計模型。模型構建完成后，進入模型評估階段，通過擬合優度檢驗、殘差分析等方法來驗證模型的有效性。若評估結果不盡人意，博克斯循環允許我們返回到前面的步驟，重新設計實驗或調整模型。

迭代與優化是博克斯循環的核心，通過不斷調整和完善，模型的擬合效果和解釋能力得到提升。優化后的模型被應用于實際問題，如在工程領域構建執行特定任務的系統，或在探索性數據分析中對觀測數據進行深入的總結與可視化。

博克斯循環的最終目標是實現持續學習與改進。隨著新數據的獲取和新知識的積累，模型得以不斷更新，以適應新的挑戰和需求。這一循環不僅適用于傳統科學研究，同樣適用于工程實踐和現代數據分析領域，提供了一種系統性的方法來推動知識的發現和應用。

1.2 研究內容

本文旨在全面闡述博克斯循環的每個關鍵組成環節。在隨后的章節中，我們將系統地展開論述。首先，在第2節，我們將深入探究概率建模作為一種強大工具，用于明確地表達關于數據的假設。為了更直觀地呈現這些假設，我們將引入圖模型符號，它作為結構化概率分布的直觀視覺表達，有助于我們更清晰地理解數據的內在關系。

緊接著，在第3節，我們將聚焦于潛在變量模型。我們將通過一系列簡單的示例，展示這些模型如何捕捉數據背后的隱藏結構和規律。同時，我們也將探討在解決新問題時，如何靈活組合和擴展這些模型，以構建出更加復雜且適應性強的模型結構。

隨后，在第4節，我們將詳細介紹均場變分推斷。這種方法為近似后驗推斷提供了有力的工具，它不僅可以輕松應用于廣泛的模型類別，還能夠有效處理大規模數據集。我們將解釋其背后的原理和應用方法，以幫助讀者更好地理解這一強大的推斷技術。

最后，在第5節，我們將轉向模型的評估與批評。我們將討論如何使用預測似然和后驗預測檢驗（PPCs）來評估模型的擬合度，并識別潛在的問題和改進方向。這些評估方法將幫助讀者確保所構建的模型不僅具有理論上的合理性，而且在實際應用中也能表現出良好的性能。

需要強調的是，本文只是從一個特定的視角對博克斯循環及其關鍵組件進行了闡述。有關潛在變量模型的其他深入討論和綜述，讀者可以參閱Skrondal & Rabe-Hesketh (2007)、Ghahramani (2012)和Bishop (2013)等文獻。對于更全面的概率建模知識體系，我們建議閱讀Bishop (2006)和Murphy (2013)等經典書籍。此外，Krnjajic′ et al. (2008)的工作為迭代模型構建提供了另一種有價值的視角。

我們期望通過本文的介紹，讀者能夠掌握迭代構建解決現實世界問題復雜方法的基本思路。然而，我們也必須強調，使用概率模型進行數據分析是一項需要不斷實踐和磨練的技藝。只有通過不斷的實踐，讀者才能真正掌握這些工具，并在實際應用中發揮出它們的最大潛力。

2.潛在變量模型

在構建潛在變量模型時，我們尋求描述數據背后隱藏結構和規律的隱藏量。這些隱藏量被編碼在隱藏和觀測隨機變量的聯合概率分布中。一旦我們觀察到一個數據集，我們會通過后驗推斷來揭示那些描述數據的特定隱藏量。后驗，即給定觀測值的隱藏變量的條件分布，不僅幫助我們理解數據的內在模式，還用于形成預測分布，即新觀測值和模型所暗示的未來數據的分布。

混合模型示例

混合模型是潛在變量模型的一個簡單而強大的實例。它假設數據點是由多個不同的分布生成的，每個數據點都來自一個特定的分布（或稱為“聚類”）。在這個模型中，隱藏變量通常表示每個數據點的聚類分配以及每個聚類的參數（如均值和方差）。通過估計混合模型的后驗分布，我們可以推斷出數據的可能分組以及每個組的特征。

模型結構

一個完整的潛在變量模型通常包含三種類型的變量：

1. 觀測值：這是我們可以直接觀察到的數據點，表示為 $x=x_1:N$。
2. 隱藏變量：這些變量編碼了影響觀測值分布的隱藏量，如聚類成員資格和聚類參數。我們用 $h=h_1:M$ 來表示這些隱藏變量。
3. 超參數：超參數是模型中的固定參數，通常通過經驗或先驗知識確定，用 $\eta$ 表示。

我們專注于隱藏和觀測隨機變量的模型，并假設超參數是已知的。模型的核心是其聯合概率分布 $p(h,x\mid \eta )=p(h\mid \eta )p(x\mid h)$，它描述了隱藏變量和觀測值如何相互作用。在觀察到數據后，我們關注隱藏變量的條件分布 $p(h\mid x,\eta )$，這通常通過貝葉斯推斷得到。這個條件分布進一步用于計算預測分布 $p(x_{\text{new}}\mid x)=\int p(x_{\text{new}}\mid h)p(h\mid x,\eta )dh$，它給出了新觀測值的概率分布。

高斯混合模型

以高斯混合模型為例，它假設數據是由多個高斯分布混合生成的。模型的隱藏變量包括每個數據點的聚類分配 $z_1:N$、每個聚類的均值 ${\mu }_1:K$，以及混合比例 $\theta$，一個非負的K維向量，其元素之和為1。數據的生成過程是先從混合比例中選擇一個聚類，然后從相應的高斯分布中抽取數據點。在這個模型中，超參數 $\eta$ 是高斯分布和混合比例的先驗分布的參數。

當我們觀察到一組數據 $x_1:N$ 時，我們通過估計高斯混合模型的后驗分布 $p({\mu }_1:K,\theta ,z_1:N\mid x_1:N)$ 來分析這些數據。這個后驗分布揭示了數據的隱藏結構，將數據點聚類為K個組，并描述了每個組的位置（即均值）。預測分布則提供了對新數據點的預測，展示了模型對未來觀測的期望。

模型表示

一個潛在變量模型可以通過多種方式表示：其生成概率過程、聯合概率分布以及有向圖模型。這些表示方法各有優缺點，但共同之處在于它們都旨在清晰地傳達模型的結構和假設。

2.1 生成概率過程

生成概率過程為我們提供了一個框架，用于描述數據如何從潛在變量模型中產生。雖然在實際應用中，我們很少能確定一個模型完全“真實”地反映了數據的生成過程，但這種描述方式有助于我們直觀地理解潛在變量之間是如何相互作用的。
圖2：
高斯混合模型的數據和推斷示例。(a) 包含100個點的數據集。(b) 相同的數據集，現在以我們近似計算四個高斯混合模型的后驗所得到的隱藏結構來可視化。每個數據點根據最可能被分配到的聚類進行著色，最可能的聚類均值以灰色標記，而輪廓線給出了下一個數據點的后驗預測分布。

高斯混合模型的生成過程可以詳細描述如下：

首先，我們抽取混合比例 $\theta$，它決定了從各個混合成分中生成數據點的概率，這通常通過狄利克雷分布（Dirichlet distribution）來建模，即 $\theta ～\text{Dirichlet}(\alpha )$。其中，$\alpha$ 是狄利克雷分布的超參數，它控制了混合比例 $\theta$ 的分布。

接下來，對于每個混合成分 $k$，我們抽取其均值 ${\mu }_k$，這通常假設服從一個先驗分布，如正態分布 ${\mu }_k～\mathcal{N}(0,{\sigma }_0^2)$。這里，${\sigma }_0^2$ 是先驗分布的方差，也是一個超參數，它決定了混合成分均值的分散程度。

然后，對于每個數據點 $n$，我們按照以下步驟生成：

a. 根據混合比例 $\theta$ 抽取混合分配 $z_n$，即決定數據點 $n$ 來自哪個混合成分。這通常通過離散分布（Discrete distribution）來實現，即 $z_n\mid \theta ～\text{Discrete}(\theta )$。

b. 根據抽取的混合分配 $z_n$ 和對應的混合成分均值 ${\mu }_{z_n}$，我們抽取數據點 $x_n$。假設每個混合成分的數據點服從正態分布，即 $x_n\mid z_n,\mu ～\mathcal{N}({\mu }_{z_n},1)$。這里，我們假設所有混合成分的方差都是固定的，例如設為1（或者可以是另一個已知或估計的值）。

這個過程明確了模型的超參數：它們是狄利克雷分布的參數 $\alpha$ 和混合成分先驗分布的方差 ${\sigma }_0^2$。這些超參數在模型建立時需要指定或估計。

后驗分布可以被視為這個生成過程的逆轉：給定觀測到的數據 $x=x_1:N$，我們感興趣的是可能的隱藏結構（即混合比例 $\theta$，混合成分均值 $\mu ={\mu }_1:K$，以及混合分配 $z=z_1:N$）的分布，即 $p(\theta ,\mu ,z\mid x)$。這個后驗分布告訴我們在觀測到數據后，哪些隱藏變量值更可能是真實的。

在這個模型中，混合比例 $\theta$ 和混合成分均值 $\mu$ 是全局隱藏變量，因為它們描述了整個數據集共享的隱藏結構。而混合分配 $z$ 是局部變量，因為每個分配 $z_i$ 僅影響第 $i$ 個觀測值的分布。這種區分在后續討論近似后驗分布的算法時具有重要意義。

2.2 聯合分布與后驗推斷

高斯混合模型（GMM）的聯合分布為模型中的隱藏變量（混合比例 $\theta$，混合成分均值 $\mu$，以及數據點的分配 $z$）和觀測變量（數據點 $x$）提供了概率上的分解表示。這種分解直接反映了數據的生成過程。具體來說，GMM的聯合分布可以表示為：

$p(\theta ,\mu ,z,x\mid {\sigma }_0^2,\alpha )=p(\theta \mid \alpha ){\prod }_{k=1}^{K}p({\mu }_k\mid {\sigma }_0^2){\prod }_{i=1}^N\left(p(z_i\mid \theta )p(x_i\mid z_i,\mu )\right)$

其中：

• $p(\theta \mid \alpha )$ 是狄利克雷分布，表示混合比例 $\theta$ 的先驗概率。
• $p({\mu }_k\mid {\sigma }_0^2)$ 是高斯分布，表示每個混合成分均值 ${\mu }_k$ 的先驗概率。
• $p(z_i\mid \theta )={\theta }_{z_i}$ 是離散分布，表示數據點 $x_i$ 分配給哪個混合成分的概率。
• $p(x_i\mid z_i,\mu )$ 是高斯分布，表示給定分配 $z_i$ 和均值 $\mu$，數據點 $x_i$ 的概率。

注意到，全局變量（$\theta$, $\mu$）在乘積外，而局部變量（$z$）則在數據點 $i$ 的乘積內。這種結構反映了全局變量對整個數據集的影響，而局部變量僅影響單個數據點。

為了從觀測數據中推斷出隱藏變量的后驗分布，我們需要計算：

$p(\theta ,\mu ,z\mid x,{\sigma }_0^2,\alpha )=\frac{p(\theta ,\mu ,z,x\mid {\sigma }_0^2,\alpha )}{p(x\mid {\sigma }_0^2,\alpha )}$

其中，分母 $p(x\mid {\sigma }_0^2,\alpha )$ 是數據的邊際概率，也被稱為證據。對于復雜的模型，如GMM，直接計算證據通常是不可行的，因此需要使用近似方法來估計后驗分布。

在后驗分布的基礎上，我們可以進行各種推斷任務，如預測新數據點的分布。對于GMM，預測分布可以表示為：

$$\begin{gathered} p(x_{\text{new}}\mid x,{\sigma }_0^2,\alpha )= \\ \int {\sum }_{z_{\text{new}}}p(z_{\text{new}}\mid \theta )p(x_{\text{new}}\mid z_{\text{new}},\mu ,{\sigma }_0^2)p(\theta ,\mu \mid x,{\sigma }_0^2,\alpha )d\theta d\mu \end{gathered}$$

其中，內部求和對新數據點的局部隱藏變量 $z_{\text{new}}$ 進行邊際化，而外部積分則對全局隱藏變量 $\theta$ 和 $\mu$ 進行邊際化。預測分布提供了對新數據點 $x_{\text{new}}$ 可能的分布情況的描述，基于我們從現有數據 $x$ 中學習到的模型參數。

在后續的章節中，我們將討論如何使用變分推斷等近似方法來估計后驗分布，并討論預測分布對于模型評估和選擇的重要性。

2.3 模型可視化

在探討潛在變量模型時，另一種直觀且有用的表示方法是概率圖形模型。這種模型通過圖形直觀地展示了隨機變量之間的依賴關系，這些依賴關系直接源于數據的生成過程。圖形模型提供了一種清晰的框架，用于理解、分析和操作概率分布。

在高斯混合模型中，我們可以觀察到幾類隨機變量及其相互依賴關系。混合成分均值 ${\mu }_k$ 和混合比例 $\theta$ 是超參數決定的，不依賴于其他隱藏變量，它們從由固定超參數參數化的分布中生成。混合分配 $z_i$ 依賴于混合比例 $\theta$，后者定義了它的分布。而觀測數據 $x_i$ 則依賴于混合成分均值 $\mu$ 和對應的混合分配 $z_i$。
圖3：
(a) 兩個高斯混合的圖形模型。這里有三個數據點。帶陰影的節點是觀測變量，不帶陰影的節點是隱藏變量，藍色方框是固定的超參數（如狄利克雷參數）。
(b) 具有N個數據點的K個高斯混合的圖形模型。

我們可以通過圖形來表示這些依賴關系，其中節點表示隨機變量，邊則表示它們之間的依賴關系。在圖3a中，我們展示了從兩個高斯混合成分中抽取的三個數據點的圖形模型。這是一個未打包的模型，其中每個數據點都在圖中有其獨特的子結構。為了簡化模型表示，我們可以使用板塊（plate）來概括模型的重復組件，板塊通常是一個矩形，用于表示重復的子結構。在圖3b中，我們展示了使用板塊來表示由K個高斯混合成分模擬N個數據點的更簡潔圖形模型。

圖形模型不僅展示了聯合分布的結構和生成過程的流程，它還為推理概率分布提供了一種強大的方法。圖的拓撲結構與計算圖描述的聯合分布的各種數量之間有著緊密的聯系。此外，圖形模型的形式化表示尊重了圖中暗示的獨立性假設，這些獨立性包括基本獨立性以及從圖論計算中派生出的其他獨立性。

盡管我們沒有深入探討圖形模型的全部細節，但這里提供的內容已經足夠讓我們理解其在高斯混合模型等潛在變量模型中的應用。對于想要進一步了解圖形模型的讀者，推薦閱讀以下參考資料：Pearl (1988)，Jordan (1999)，Bishop (2006)，Koller & Friedman (2009)，以及Murphy (2013)。

在實踐中，我們發現圖形模型是一種有用的視覺語言，有助于領域專家（如科學家）與統計學家和計算機科學家之間構建和討論模型。它們不僅提供了對潛在變量模型結構的直觀理解，還為后續的推理和分析奠定了堅實的基礎。

3.模型簡介

在前面的討論中，我們介紹了潛在變量模型的基本概念，并以高斯混合模型作為具體示例進行了闡述。現在，我們將進一步探討潛在變量模型中一些常見的組成部分，包括混合成員、線性因子、矩陣因子和時間序列等，并指出它們在不同領域中的應用場景。

這些模型不僅在不同的研究社區中被廣泛研究和應用，而且經常與特定的后驗推斷算法相結合。雖然它們可能在沒有明確概率建模視角的情況下被發展出來，但我們將從概率論的角度重新解讀這些模型，將它們視為更一般化的獨立解決方案。我們將關注這些模型所做的獨立性假設和概率分布假設，而具體的后驗計算將在后續章節中討論。

3.1 線性因子模型

線性因子模型是一類強大的工具，它們通過將高維觀測數據映射到低維空間來揭示數據的內在結構。這些模型在統計學領域有著悠久的歷史，自上世紀初以來，它們一直是數據分析和特征提取的基石。主成分分析（PCA，Pearson 1901, Hotelling 1933）、因子分析（FA，Thurstone 1931, 1938; Thomson 1939）以及典型相關分析（CCA，Hotelling 1936）都可以被解釋為線性因子模型的特例。盡管這些模型的傳統解釋往往側重于非概率的方法，但它們的概率視角在現代統計學和機器學習中得到了廣泛的關注（Roweis 1998, Tipping & Bishop 1999, Collins et al. 2002）。

在線性因子模型中，數據的生成過程涉及一組隱藏組件（或因子）。每個數據點都與一個隱藏的權重向量相關聯，這個權重向量描述了數據點如何由這些隱藏組件的線性組合生成。具體來說，我們假設有K個隱藏組件，每個組件都是一個$p$維向量，這些組件可以組織成一個$K\times p$的矩陣μ。對于每個數據點$n$，我們抽取一個$K$維的權重向量$w_n$，然后根據這個權重向量和組件矩陣μ的線性組合（即$w_n^{?}\mu$）來生成數據點。

圖4a展示了這種線性因子模型的圖形表示。從圖中可以看出，隱藏變量（組件和權重）與觀測變量之間的獨立性假設與混合模型中的假設相似。在標準的線性因子模型中，數據通常被假設為從高斯分布中抽取的（Tipping & Bishop 1999），但線性因子模型的擴展已經考慮了更廣泛的分布族，包括那些以w_n^?μ作為自然參數的指數族分布（Collins et al. 2002, Mohamed et al. 2008）。

線性因子模型在多個領域都有廣泛的應用，包括但不限于圖像處理、信號處理、生物信息學等。它們不僅能夠幫助我們降低數據的維度，減少計算復雜度，還能夠揭示數據中的關鍵特征和內在結構。此外，線性因子模型還常常作為更復雜模型（如卡爾曼濾波器）的組成部分，為構建更強大、更靈活的模型提供了基礎。

3.2.混合成員模型

混合成員模型是一種用于分析統計上相互關聯的多組數據的無監督方法。這類模型允許每個數據組從一組獨特的混合比例中抽取，而這些混合比例共享相同的基礎成分。例如，在文本分析中，文檔集合中的每個文檔都由一系列單詞組成；在遺傳學研究中，人群集合中的每個個體都具有基因組上特定位置的等位基因；在社會調查中，每個受訪者提供了一系列答案；在社交網絡分析中，每個人擁有與其他人的聯系網絡。混合成員模型認為，盡管每個組表現出不同的模式和程度，但數據背后存在一組統一的模式。

圖4:第3節中描述的模型組件的圖形模型。（a）線性因子模型。（b）混合成員模型。（c）矩陣分解。（d）隱馬爾可夫模型。（e）科爾曼濾波器。

這些模型通過設定一組全局共享的成分，并為每個數據組分配一組特定的混合比例來工作。具體來說，每個數據點的生成過程涉及兩個步驟：首先確定一組混合比例，然后基于這些比例為每個觀察選擇一個成分。這樣，盡管所有組共享相同的成分集合，但每個組展示這些成分的比例是不同的。混合成員模型的后驗分析旨在揭示數據中的重復模式及其在各組中的分布比例。

與簡單的混合模型相比，混合成員模型不僅能夠提供更準確的預測，還能揭示數據的更深層次結構。例如，圖4b中的圖形模型展示了具有$M$個組和$N$個數據點的混合成員模型，其中$x_{mn}$代表第m組的第$n$個觀察值。隱藏變量$\mu k$是$x_{mn}$的分布參數，而$p(?|\eta )$是具有超參數$\eta$的先驗分布。其他隱藏變量包括每組的混合比例${\theta }_m$和每個觀察的混合分配$z_{mn}$，后者指向其中一個成分。

混合成員模型的一個具體應用是主題模型，它用于分析文檔集合。在主題模型中，每個文檔被視為詞匯表上概率分布的混合。通過后驗分析，可以確定文檔集合中與特定主題相關的詞匯，以及每個文檔如何展示這些主題。例如，圖5展示了一個主題模型對《紐約時報》180萬篇文章進行擬合后得到的主題，這些主題是通過估計后驗分布并繪制每個主題中最常見的單詞來確定的。

3.3.矩陣分解模型

矩陣分解模型是一種強大的工具，用于分析和預測以矩陣形式組織的數據集。在這些數據集中，每個元素的值由其在矩陣中的行和列位置決定。例如，在Netflix的推薦系統中，矩陣的行代表用戶，列代表電影，而每個單元格的值表示用戶對電影的評分。目標是基于用戶的歷史評分預測他們可能喜歡的新電影。

政治投票數據是矩陣分解模型的另一個應用場景。在這個矩陣中，行代表立法者，列代表法案，單元格記錄了立法者對法案的投票結果。通過分析這些數據，我們可以探索立法者在政治光譜上的位置，識別保守派和自由派。
圖5:
從紐約時報的180萬篇文章語料庫中發現的主題。改編自Hoffman等人（2013）。

矩陣分解模型通過引入隱藏變量，將矩陣的行和列映射到低維空間中。每個觀測到的單元格值可以看作是行和列嵌入的線性組合的結果。這種模型不僅能夠預測缺失數據，還能夠揭示數據背后的潛在結構。

在電影推薦系統中，矩陣分解幫助我們將用戶和電影表示為低維向量。對于一個用戶尚未評分的電影，我們可以基于用戶和電影的嵌入向量預測其可能的評分。此外，這種方法還可以幫助我們發現具有相似品味的用戶群體，以及通常受到相似用戶群體喜愛的電影類型。

圖4c中的圖形模型展示了矩陣分解模型的結構。在這個模型中，每個單元格的分布由其對應的行和列的隱藏變量決定。這種模型與線性因子模型相似，但每個單元格的分布參數是由行和列的嵌入向量決定的。

概率矩陣分解是一種將矩陣分解框架擴展到概率模型的方法，它可以提供更靈活和強大的數據分析能力。在政治科學領域，理想點模型是一種一維矩陣分解方法，用于分析立法者的投票行為。通過這種方法，我們可以在一維空間中表示立法者的政治立場，從而揭示民主黨和共和黨之間的分歧，以及更細致的政治光譜。

矩陣分解模型在教育測試領域也有應用，其中測試者和測試問題分別作為行和列。此外，Netflix挑戰的勝利者采用了矩陣分解模型的擴展，考慮了時間因素和電影的潛在受歡迎程度，從而提高了預測的準確性。

3.4 時間序列模型

時間序列分析是數據科學中的一個重要領域，它專注于處理按時間順序排列的觀測值。這些數據的特點是它們之間存在內在的時序關聯，這種關聯對于理解數據和做出準確預測至關重要。在時間序列分析中，兩種主要的潛在變量模型尤為突出：隱馬爾可夫模型（HMM）和卡爾曼濾波器，它們都通過利用序列數據的時間結構來增強模型的預測能力和解釋性。

3.4.1 隱馬爾可夫模型（HMM）

隱馬爾可夫模型是一種強大的工具，用于分析具有時間依賴性的數據。在HMM中，每個時間點的觀測都是從一個潛在的混合成分中抽取的，而這個混合成分又依賴于前一個時間點的混合成分。這種模型的核心是假設觀測之間的轉換遵循馬爾可夫性質，即下一個狀態的概率只依賴于當前狀態，而與之前的狀態無關。

HMM在諸如語音識別和生物信息學等領域有著廣泛的應用。例如，在語音識別中，HMM的隱藏狀態可以代表詞匯表中的單詞，而觀測數據則是實際的音頻信號。通過后驗推斷，HMM能夠估計出音頻信號中所說的話。圖4d的圖形模型展示了時間序列如何轉化為圖中的鏈式結構，其中全局隱藏變量包括混合成分${\mu }_{1:K}$和轉移概率${\theta }_{1:K}$，后者定義了從一個狀態轉移到另一個狀態的條件概率。

3.4.2 卡爾曼濾波器

與HMM不同，卡爾曼濾波器是線性（高斯）因子模型的時間序列版本，它適用于處理連續變量的時間序列數據。在卡爾曼濾波器中，每個時間點的狀態（如物體在空間中的位置）是通過一個狀態空間模型來更新的，該模型假設狀態以高斯分布的方式從前一個狀態演變而來。

卡爾曼濾波器在雷達跟蹤等領域有著顯著的應用。在這些應用中，觀測數據可能包含噪聲，而卡爾曼濾波器能夠通過其算法有效地估計出物體的真實位置，并預測其未來的位置。圖4e的圖形模型揭示了卡爾曼濾波器的工作原理，盡管其底層分布是連續的，但其圖形模型的結構與HMM相似。

這兩種模型雖然在不同的領域獨立發展，但它們都是基于圖形模型的一般算法的實例。這種統一的視角不僅有助于我們理解不同模型之間的聯系，而且促進了新模型的開發和應用，這是圖形模型形式主義的一個顯著優勢。

3.5 潛在變量建模

在數據科學領域，潛在變量建模是一門藝術，它涉及構建能夠捕捉數據背后隱藏結構的模型。雖然我們介紹了一些基于簡單模型構建的潛在變量模型，但我們的目標并不是提供一個詳盡的模型清單。實際上，我們有意省略了一些重要的模型類型，比如貝葉斯非參數模型、隨機效應模型和層次模型，這些模型類型允許數據本身來定義潛在變量的結構。我們更希望展示如何使用概率建模作為一種表達假設的語言，來為每個具體的數據分析挑戰定制合適的潛在變量模型。

圖7:
使用動態主題模型對《科學》雜志的大量語料庫進行分析后發現的動態主題。該模型捕捉到了技術的概念以及它在整個語料庫收集過程中的變化

3.5.1.定制和開發新模型的方法

1. 修改數據生成分布：每個概率過程的核心都是根據潛在結構生成觀測值的步驟。例如，在混合成員模型中，觀測值是基于某個成分的分布來抽取的；在因子模型中，則是依據權重和因子的線性組合的分布。根據觀測數據的類型，我們可以改變這個分布，從而得到新的潛在變量模型。例如，對于有序數據，我們可以使用有序分布；對于正數據，可以使用伽馬分布或截斷高斯分布；對于分類數據，則可以使用離散分布。此外，我們還可以使用廣義線性模型等條件模型，這些模型利用觀測到的協變量來輔助描述數據分布。

2. 改變潛在變量的分布假設：我們可以通過替換潛在變量的分布來開發新模型。例如，將高斯分布替換為伽馬分布可以強制模型輸出非負結果，這在計算機視覺中的非負矩陣分解技術中非常有用。我們也可以將簡單的分布替換為具有自身潛在結構的復雜分布。例如，刺和板模型通過兩階段過程生成向量：首先生成指示數據點相關因素的二進制變量，然后為這些因素的權重生成適當的分布。

3. 混合不同模型的組件：我們可以將不同模型的組件結合起來，創造出全新的技術。例如，動態主題模型結合了混合成員模型和時間序列分析，以捕捉隨時間變化的主題。另一個例子是結合基于樹的模型和HMM來分析按系統發育樹組織的物種的遺傳數據，這種模型能夠預測所有物種共有的蛋白質編碼基因的確切位置。

3.5.2.結論

我們所討論的只是潛在變量建模的冰山一角。模型的構建可以由多種組件組成，如二進制向量、時間序列、層次結構和混合等，這些組件可以以無數種方式進行組合和連接。隨著在概率模型方面的實踐和經驗的積累，數據分析師不僅能夠明確表達他們想要揭示的潛在結構類型，還能夠設計出能夠捕捉這種結構的生成性假設。這種能力是數據分析中一種極其寶貴的技能，它允許我們深入理解數據，并從中提取有價值的洞察。

4. 后驗推斷

在深入探討概率建模的復雜性和靈活性時，我們不僅要關注模型的構建，還要聚焦于如何使用這些模型從數據中揭示隱藏的結構和進行預測。這兩個關鍵任務的核心在于計算或近似后驗分布——即給定觀測數據的隱藏變量的條件分布。在概率建模的實踐中，這通常是一個挑戰性的算法問題，我們稱之為后驗推斷。

對于基礎模型，我們或許能夠直接計算出精確的后驗分布。然而，在多數復雜且有趣的模型中，我們不得不依賴近似方法。幸運的是，貝葉斯統計和機器學習領域的研究人員已經為我們提供了一系列強大的工具，其中最為廣泛使用的方法包括拉普拉斯近似和馬爾可夫鏈蒙特卡洛（MCMC）抽樣。

拉普拉斯近似是一種簡便的方法，它將后驗分布近似為一個高斯分布。這一近似基于泰勒級數展開，從后驗分布的峰值（眾數）出發進行推導。雖然拉普拉斯近似在某些簡單場景中表現良好，但在高維數據和高復雜度模型中，其效果往往不盡如人意。

相比之下，MCMC抽樣方法提供了更為強大和靈活的解決方案。這些方法的核心思想是在隱藏變量上構建一個馬爾可夫鏈，使其穩態分布恰好是我們感興趣的后驗分布。通過模擬這個馬爾可夫鏈的轉移過程，我們可以從中抽取樣本，這些樣本的經驗分布將逐漸逼近真實的后驗分布。MCMC方法，如Metropolis-Hastings算法和Gibbs抽樣，已經成為現代貝葉斯統計中不可或缺的工具。

然而，盡管MCMC方法強大且有效，但在處理大規模數據集和高維模型時，其計算成本往往較高。為了克服這一挑戰，研究人員提出了一種新的策略——均場變分推斷（mean-field variational inference）。均場變分推斷是一種確定性的近似方法，它將抽樣過程替換為優化過程。通過優化一個目標函數，我們可以找到一個易于計算的分布來近似復雜的后驗分布。這種方法在實踐中往往比MCMC方法更快，特別是在處理大型和高維數據集時。

為了引入均場變分推斷，我們首先需要了解一個特定的模型子類——條件共軛模型。這類模型假設觀測數據、全局潛在變量和局部潛在變量之間存在一種特定的依賴關系，這種關系使得我們可以將聯合分布分解為一系列易于處理的因子。在條件共軛模型中，每個完整條件分布都屬于指數族，這使得我們可以利用指數族分布的性質來簡化計算。

最后，我們需要明確的是，后驗推斷是概率建模中的核心問題之一。通過計算或近似后驗分布，我們可以揭示數據中的隱藏結構、理解潛在變量的影響，并基于這些信息進行預測。隨著數據規模的不斷增長和模型復雜度的提高，開發更加高效和準確的近似推斷方法將成為未來的研究重點。

4.1.條件共軛模型

條件共軛模型是一類特殊的概率模型，它允許我們有效地進行后驗推斷。設 $x=x_{1:N}$ 為觀測值，$\beta$ 為全局潛在變量，$z=z_{1:N}$ 為局部潛在變量，$\eta$ 為固定參數。在條件共軛模型中，我們假設聯合分布可以分解為以下形式：

$$p(\beta ,z,x|\eta )=p(\beta |\eta )\prod _{n=1}^{N}p(z_n|\beta )p(x_n|z_n,\beta )$$

其中，每個局部觀測 $x_n$ 的分布僅依賴于對應的局部變量 $z_n$ 和全局變量 $\beta$。圖8（假設為附圖或示意）展示了這一模型結構的圖形表示，其中局部變量位于數據板塊內部，而全局變量位于數據板塊外部。

4.1.1.局部與全局變量的區別

局部和全局變量在數據生成分布中扮演著不同的角色。局部變量 $z_n$ 直接與觀測值 $x_n$ 相關聯，而全局變量 $\beta$ 則影響所有觀測值。例如，在有限混合模型中，局部變量 $z_n$ 可以視為數據點 $x_n$ 所屬的混合組件，而全局變量 $\beta$ 則包含混合比例和各個組件的參數。

4.1.2.后驗推斷問題

后驗推斷的目標是計算給定觀測數據下潛在變量的條件分布，即 $p(\beta ,z|x)$。這個條件分布可以通過聯合分布除以邊緣分布得到：

$$p(\beta ,z|x)=\frac{p(\beta ,z,x)}{p(x)}=\frac{p(\beta |\eta ){\prod }_{n=1}^{N}p(z_n|\beta )p(x_n|z_n,\beta )}{\int p(\beta ,z,x)dzd\beta }$$

后驗分布在模型使用中至關重要。它不僅允許我們檢查可能生成數據的隱藏結構，還提供了關于新數據預測的入口，即后驗預測分布。然而，計算后驗分布通常很困難，因為分母 $p(x)$（即數據的邊緣概率）的計算通常涉及復雜的積分和組合操作（特別是在混合模型中，需要對所有可能的混合組件分配進行邊緣化）。因此，對于許多模型，我們不得不采用近似方法來估計后驗分布。

4.1.3.指數族分布

在條件共軛模型中，我們假設每個完整條件分布（即給定觀測值和其他潛在變量的潛在變量的條件分布）都屬于指數族。指數族分布具有如下形式：

p ( x ∣ η ) = h ( x ) exp ? { η ? t ( x ) ? a ( η ) } p(x | \eta) = h(x) \exp\{\eta^\top t(x) - a(\eta)\} p(x∣η)=h(x)exp{η?t(x)?a(η)}

其中，$t(x)$ 是充分統計量，$h(x)$ 是基測度，$\eta$ 是自然參數，$a(\eta )$ 是對數歸一化器，確保分布的積分（或求和）為1。$a(\eta )$ 的導數給出了充分統計量的累積量。許多常見的概率分布都屬于指數族，如高斯分布、多項式/分類分布、泊松分布、伽馬分布、伯努利分布、狄利克雷分布和貝塔分布等。這些分布的特性使得我們可以利用指數族分布的性質來簡化后驗推斷的計算。

4.2.均場變分推斷

在之前的討論中，我們介紹了一類需要近似后驗分布的大型概率模型。為了應對這種復雜性，我們現在提出均場變分推斷作為一種簡潔且有效的近似后驗分布的方法。

變分推斷由機器學習領域的研究人員在1990年代首次提出，其理論基礎源于統計物理中的先前工作。該方法的核心思想是假設一個包含自由參數（稱為變分參數）的分布族來近似潛在變量上的后驗分布，并通過調整這些參數來找到一個盡可能接近真實后驗分布的族成員。接近程度通常通過Kullback-Leibler（KL）散度來衡量。

接下來，我們將針對條件共軛模型介紹坐標上升推斷，這是一種通用的變分推斷算法，在機器學習研究文獻中得到了廣泛應用。對于變分推斷的詳細綜述，可以參考Jordan等人（1999）和Wainwright & Jordan（2008）的工作。在這里，我們將遵循Hoffman等人（2013）的框架來介紹這一方法。

4.2.1.變分目標函數

我們用$q(\beta ,z|\nu )$表示潛在變量上的變分分布族，其中$\nu$是索引這個分布族的自由變分參數。（我們將在后面指定這些參數。）變分推斷的目標是通過求解

$${\nu }^{?}=\text{arg}\underset{\nu }{\min }\text{KL}(q(\beta ,z|\nu )||p(\beta ,z|x))$$

來找到最優的變分參數${\nu }^{?}$。這實際上是將變分參數$\nu$與觀測數據$x$聯系起來的途徑，使得推斷問題轉化為一個優化問題。

然而，直接計算KL散度需要涉及到$p(x)$的計算，這在實際應用中往往是不可行的（如同在之前的討論中所指出的）。因此，變分推斷優化了一個與KL散度相關的目標函數：

$$L(\nu )=\mathbb{E}[\log p(\beta ,z,x|\eta )]?\mathbb{E}[\log q(\beta ,z|\nu )]$$

其中，所有的期望都是基于變分分布$q(\beta ,z|\nu )$來計算的。這個目標函數實際上等于負KL散度減去$\log p(x)$的常數項。因此，最大化$L(\nu )$等價于最小化KL散度。直觀地說，目標函數的第一項傾向于使變分分布傾向于那些使數據更可能的潛在變量配置；而第二項，即變分分布的熵，則傾向于使變分分布更加分散。

$$L(\nu )=\underset{\text{數據擬合項}}{\underbrace{{\mathbb{E}}_{q(\beta ,z|\nu )}[\log p(\beta ,z,x|\eta )]}}?\underset{\text{變分熵項}}{\underbrace{{\mathbb{E}}_{q(\beta ,z|\nu )}[\log q(\beta ,z|\nu )]}}$$

在變分推斷的框架中，我們通過優化$L(\nu )$來尋找最優的變分參數${\nu }^{?}$，從而得到一個接近真實后驗分布的變分分布$q(\beta ,z|{\nu }^{?})$。

4.2.2.均場變分族

在介紹優化目標之前，我們需要更具體地定義變分族。我們采用均場變分族，其中每個潛在變量被視為獨立的，并由其自己的變分參數控制。設變分參數 ν = { λ , ? 1 : N } \nu = \{\lambda, \phi_{1:N}\} ν={λ,?1:N?}，其中 $\lambda$ 是全局變量的參數，${?}_{1:N}$ 是局部變量的參數。均場族表示為：

$$q(\beta ,z|\nu )=q(\beta |\lambda )\prod _{n=1}^{N}q(z_n|{?}_n)$$

請注意，盡管每個變量是獨立的，但不同的變量并不一定是同分布的。盡管這種方法無法捕捉變量之間的相關性，但均場族具有高度的靈活性，能夠將其質量集中在任何復雜的配置上。我們還注意到，數據并未直接出現在變分族的定義中；數據僅在優化變分目標時與變分參數相關聯。

為了完整性，我們將每個變分因子設置為與模型中相應的完整條件分布相同的族。如果 $p(\beta |x,z)$ 是高斯分布，那么 $\lambda$ 就是自由的高斯參數；如果 $p(z_n|x_n,\beta )$ 在 $K$ 個元素上是離散的，那么 ${?}_n$ 就是 $K$ 個元素上的自由分布。值得注意的是，盡管我們假設了這種結構，但Bishop（2006）表明，最優的均場變分分布（即式11）必然屬于這個族。

4.2.3.坐標上升變分推斷

現在我們開始優化式10中的變分目標。我們將采用最簡單的算法：坐標上升變分推斷。在坐標推斷中，我們迭代地優化每個變分參數，同時保持其他所有變分參數固定。這種算法適用于大量的模型。它可以在許多數據分析環境中輕松執行近似后驗推斷。

對于條件共軛模型和均場族，每個更新都有封閉形式。回想一下，全局因子 $q(\beta |\lambda )$ 與完整條件分布（式7）相同。全局參數的更新是完整條件期望的參數：

$${\lambda }^{?}={\mathbb{E}}_q[{\eta }_g(z,x)]$$

這個期望是根據變分分布 $q$ 取得的。關于推導，請參閱Hoffman等人（2013）的工作。

這個更新在坐標算法中有效的原因是，它是數據和局部參數 ${?}_{1:N}$ 的函數。要理解這一點，請注意 ${\eta }_g(z,x)$ 是數據和局部變量的函數，并且從式11中的變分族可以看出，潛在變量是獨立的。因此，${\eta }_g(z,x)$ 的期望僅涉及局部參數，這些參數在全局參數的坐標更新中是固定的。

類似地，局部參數的更新也有封閉形式。局部參數 ${?}_n$ 的更新是：

$${?}_n^{?}={\mathbb{E}}_q[{\eta }_l(\beta ,x_n)]$$

由于均場族的假設，這個期望僅依賴于全局參數 $\lambda$，這些參數在更新局部參數 ${?}_n$ 時保持固定。

將這些步驟結合起來，坐標上升推斷算法如下：

1. 隨機初始化全局參數 $\lambda$。
2. 重復直到目標收斂：
   a. 對于每個數據點 $n$，根據式13更新局部參數 ${?}_n$。
   b. 根據式12更新全局參數 $\lambda$。

這個算法在變分目標函數中明顯上升，導致局部最優。我們通過跟蹤式10中的變分目標的相對變化來監控收斂。在實踐中，人們使用多次隨機重啟來找到一個好的局部最優。

注意，坐標上升變分推斷與Dempster等人（1977）的期望最大化（EM）算法密切相關。兩者都是坐標上升算法，在單個數據點的計算和整個數據集的計算之間交替進行。此外，EM目標與變分目標都是從Jensen不等式中導出的。

作為一個具體的例子，我們簡要回顧一下高斯混合模型。在這個模型中，潛在變量是混合分配 $z_{1:N}$ 和混合組成部分 ${\mu }_{1:K}$。均場變分族是：

$$q(\mu ,z)=\prod _{k=1}^{K}q({\mu }_k|{\lambda }_k)\prod _{n=1}^{N}q(z_n|{?}_n)$$

全局變分參數是高斯變分均值 ${\lambda }_k$，它們描述了每個混合組件的分布；局部變分參數是 $K$ 個元素上的離散分布 ${?}_n$，它們描述了每個數據點 $x_n$ 的混合分配。每個混合組件的完整條件是高斯分布。
在均場推斷的基礎上，我們可以構建更加復雜和精確的變分推斷算法以適應不同類型的模型和需求。下面我們將討論一些擴展的變分推斷方法，這些方法在放寬均場假設或放寬完整條件在指數族中的假設方面進行了探索。

4.2.4.結構變分推斷

結構變分推斷（Structured Variational Inference）放寬了均場推斷中的獨立性假設，允許變分分布中的變量之間存在某些依賴關系。這種方法能夠捕獲變量之間的相關性，從而提供更準確的近似后驗推斷。

在結構變分推斷中，變分分布不再簡單地是獨立因子的乘積，而是可以具有更復雜的依賴結構。這通常通過在變分分布中引入額外的依賴因子或使用更復雜的概率圖模型來實現。例如，可以使用因子圖或馬爾可夫隨機場來描述變量之間的依賴關系。

通過放寬獨立性假設，結構變分推斷能夠更準確地近似后驗分布，尤其是在變量之間存在強依賴性的情況下。然而，這種方法也帶來了更高的計算復雜性和優化難度。

4.2.5.非共軛變分推斷

非共軛變分推斷（Non-Conjugate Variational Inference）放寬了完整條件在指數族中的假設，使得變分推斷可以應用于更廣泛的非共軛模型。在傳統的共軛變分推斷中，通常假設模型的完整條件分布屬于指數族，以便利用指數族的性質進行高效的推斷。然而，在實際應用中，許多模型并不滿足這一假設。

非共軛變分推斷通過使用更靈活的變分分布族或引入額外的近似技術來放寬這一假設。例如，可以使用混合分布或神經網絡來近似非共軛模型的后驗分布。此外，還可以使用隨機梯度變分推斷（Stochastic Gradient Variational Inference）等技術來加速非共軛模型的優化過程。

非共軛變分推斷能夠應用于更廣泛的模型，包括許多現代機器學習模型，如深度神經網絡和復雜的概率圖模型。然而，由于模型的復雜性，非共軛變分推斷通常比共軛變分推斷更具挑戰性，需要更多的計算資源和優化技巧。

變分推斷是復雜模型近似后驗推斷的強大工具，而均場推斷是其中最簡單和最常用的方法。然而，隨著機器學習和統計研究的深入，我們已經開發出更加復雜和精確的變分推斷方法，如結構變分推斷和非共軛變分推斷。這些方法能夠捕獲變量之間的相關性，并應用于更廣泛的模型，從而提供更準確的近似后驗推斷。隨著計算能力的不斷提高和優化技術的不斷發展，變分推斷將在未來的機器學習和統計應用中發揮越來越重要的作用。
在第2、3和4節中，我們介紹了構建復雜模型和使用均場變分推斷來近似后驗分布的工具。這些構成了模型構建和評估流程中的關鍵步驟。在本節中，我們將深入探討模型批評，作為這一流程中的最后一個重要組成部分。

5.模型評估

模型評估是評估模型適用性和理解其性能的關鍵環節。通常，我們使用模型執行兩種類型的任務：探索和預測。

在探索性任務中，我們利用對隱藏變量的推斷——通常是通過近似后驗期望——來總結數據、可視化數據或根據推斷將數據劃分為特定的組和結構。例如，在文檔分析中使用主題模型，或在微陣列數據上使用聚類模型來識別相關基因組。

在預測性任務中，我們關注于預測未來的數據點。這通常涉及計算后驗預測分布：

$$p(x_{\text{new}}\mid x)=\int p(\beta \mid x)\int p(z_{\text{new}}\mid \beta )p(x_{\text{new}}\mid z_{\text{new}},\beta )d{z}_{\text{new}}d\beta$$

（對于混合模型，預測分布的具體形式如方程3所示。）由于后驗分布 $p(\beta \mid x)$ 通常不可直接計算，我們使用近似值 $q(\beta )$ 代替，這是通過MCMC或變分推斷等近似推斷算法得到的。預測任務的例子包括使用矩陣分解預測用戶可能購買的商品，或使用時間序列模型預測未來的股價。

模型評估主要有以下任務需要完成：
1. 評估模型適用性

探索性和預測性任務都需要我們評估模型的適用性。模型批評的兩種常用技術是樣本重用的預測似然（Geisser 1975）和后驗預測檢查（Box 1980, Rubin 1984, Meng 1994, Gelman 等人 1996）。這些技術通過將模型的后驗預測分布與觀測數據對比，以檢查模型是否準確地捕捉了數據的特征。

2. 模型批評與模型選擇

模型批評與模型選擇（Claeskens & Hjort 2008）在本質上是不同的。模型選擇是從一組替代模型中選擇最佳模型，而模型批評可以在不考慮替代方案的情況下進行。此外，模型批評關注的是評估當前模型（及其推斷算法）在特定任務上的表現，而不僅僅是模型本身。
3. 模型批評與貝葉斯思維

模型批評并不完全遵循正統的貝葉斯思維，因為它強調模型制定的迭代性和批評性。在模型批評中，我們尋求展示模型的不足之處，并指出改進的方向。這與科學哲學中的證偽思想（Popper 1959, Gelman & Shalizi 2012）相呼應，即觀測數據如果與模型預測不符，則是對模型有效性的挑戰。

最后，值得注意的是，模型批評在某些理論框架下可能引發哲學爭議，因為它可能被視為對貝葉斯理論框架的擴展或偏離。然而，在實用主義的角度來看，模型批評為迭代和改進模型構建過程提供了有價值的工具。

5.1 預測樣本重用

評估模型（及其相應的推斷算法）的一種有效方法是評估其泛化性能，即它分配給未觀測數據的概率。Geisser（1975）提出的預測樣本重用（PSR）方法，類似于使用交叉驗證來估計這個概率。

設 ${\mathbf{x}}_{[?n]}$ 是去掉第$n$個數據點的數據集。假設我們的模型是 $p(\beta ,\mathbf{z},\mathbf{x})$，我們使用變分推斷來近似后驗 $p(\beta ,\mathbf{z}\mid {\mathbf{x}}_{[?n]})$ 為 $q_{[?n]}(\beta ,\mathbf{z})$。第$n$個數據點的對數預測似然是：

$$\log p(x_n\mid {\mathbf{x}}_{[?n]})=\log \int \int p(x_n\mid z_n)q(z_n)d{z}_n{q}_{[?n]}(\beta )d\beta$$

這是使用不包含它的數據的第$n$個數據點的（近似）后驗預測概率。完整的預測似然是 ${\sum }_{n=1}^N\log p(x_n\mid {\mathbf{x}}_{[?n]})$，它使用留一法交叉驗證估計新數據的保留對數概率。注意 $q(z_n)$ 是第$n$個數據點的局部變分參數；它是在固定 $q_{[?n]}$（沒有考慮 $x_n$）并估計 $x_n$ 的后驗局部上下文時計算的。

這個過程可能很昂貴，因為它需要擬合$N$個近似后驗，每個數據點一個。在實踐中，我們可以使用$K$折交叉驗證來估計分數。我們將數據分成$K$組；我們迭代地保留每組并使用其余數據近似全局變量 $\beta$ 的后驗；最后，我們計算每個數據點的 $\log p(x_n\mid {\mathbf{x}}_{[?n]})$，對不包含第$n$個點的數據估計的近似后驗進行積分。

PSR的一個優點是，它不僅幫助評估建模假設，而且還讓所有近似推斷算法處于同一起跑線。將模型和推斷算法視為數據和新數據預測分布之間的通道；方程中的對數預測概率評估了預測分布，無論它是如何近似的。相比之下，基于觀測邊際概率的近似模型選擇（Kass & Raftery 1995，MacKay 2003）可能受到未知偏差的影響。例如，基于變分推斷和基于MCMC的邊際近似很難進行比較。PSR讓我們能夠輕松地比較同一預測分布的兩種不同近似。

PSR的另一個優點是，它可以適應于模型最相關的預測問題。例如，在分組數據中，我們可能希望考慮每組部分被觀測，并評估剩余觀測的預測似然。這是評估概率主題模型（Blei & Lafferty 2007，Asuncion等人 2009）的好方法。此外，方程中的個別分數可以像檢查殘差一樣進行檢查：從業者可以尋找預測不佳的模式，以確定模型成功和失敗的地方。

5.2 后驗預測檢驗（PPCs）

后驗預測檢驗（PPCs）是一種評估模型是否在重要方面足夠好的關鍵工具。通過PPCs，我們將觀測數據置于其后驗預測分布中進行考量。如果觀測數據在后驗預測分布下呈現為非典型——即其概率較低——那么模型可能存在問題。

PPCs清晰地劃分了我們關心建模的內容和可以輕松建模的內容。建模過程中，為了計算上的方便，我們可能會做出一些妥協——例如，在不適當的地方使用高斯分布或引入我們已知不正確的獨立性假設——但一個好的模型應能在這些妥協下仍能捕捉到我們關心的核心內容。PPCs就是用來診斷我們為計算方便而構建的簡化模型是否足夠好的工具。

假設我們重復了產生觀測數據的數據收集過程。這些新數據來自與觀測數據相同的過程，因此我們預計這兩組數據應該相似。現在考慮我們提出的模型。如果模型是合適的，那么它的后驗預測分布應該能夠很好地近似數據收集分布；也就是說，我們的觀測數據應該能由模型的預測機制很好地捕捉。因此，我們考慮如果數據集是從模型的后驗預測分布中抽取出來的，那么它應該是什么樣子。如果它看起來與觀測數據差異顯著——即，不像我們希望通過模型捕捉的分布中抽取的數據——那么模型可能存在問題。

更正式地，我們定義一個差異度量 $T(X)$ 作為我們關心的數據的函數；這是我們希望模型在其預測分布中能夠捕捉的數據屬性（函數 $T(X)$ 也被稱為檢驗統計量）。設 $x_{\text{rep}}$ 是一組新的假設性未來觀測數據，它是從后驗預測分布中抽取的數據集。那么，

$$\text{PPC}=P(T(X_{\text{rep}})>T(x)\mid x)$$

注意，在這個表達式中，唯一的隨機變量是 $x_{\text{rep}}$。這個PPC計算的是復制數據在 $T$ 定義的度量上超過觀測數據的概率。

Meng（1994）的一個重要發展是將差異定義為數據和潛在變量的函數 $T(x,\beta )$（為了符號的清晰性，我們省略了局部變量）。PPC變為：

$$\text{PPC}=P(T(X_{\text{rep}},\beta )>T(x,\beta )\mid x)$$

在這里，隱藏變量 $\beta$ 和復制數據 $x_{\text{rep}}$ 都是隨機的。它們的聯合分布是后驗分布和數據生成分布的乘積：

$$p(\beta ,x_{\text{rep}}\mid x)=p(\beta \mid x)p(x_{\text{rep}}\mid \beta )$$

因此，PPC可以分解為一個指示器的期望：

PPC = ∫ p ( β ∣ x ) ∫ p ( x rep ∣ β ) 1 { T ( x rep , β ) > T ( x , β ) } d x rep d β \text{PPC} = \int p(\beta \mid x) \int p(x_{\text{rep}} \mid \beta) \mathbb{1}\{T(x_{\text{rep}}, \beta) > T(x, \beta)\} \, dx_{\text{rep}} \, d\beta PPC=∫p(β∣x)∫p(xrep?∣β)1{T(xrep?,β)>T(x,β)}dxrep?dβ

其中 $1$ 是指示函數，當括號內的條件為真時取值為1，否則為0。

由于PPC的計算通常涉及復雜的積分，因此常常使用蒙特卡洛方法來進行近似。以下是使用蒙特卡洛方法估計PPC的步驟，假設我們進行T次復制：

1. 從后驗分布中抽樣：從后驗分布$p(\beta \mid x)$或近似后驗中抽取${\beta }^{(t)}$，其中$t=1,\dots ,T$。

2. 從抽取的參數中生成復制數據：對于每個抽取的${\beta }^{(t)}$，從條件分布$p(x_{\text{rep}}\mid {\beta }^{(t)})$中抽取復制數據集$x_{\text{rep}}^{(t)}$。

3. 計算差異度量：對于每個復制數據集$x_{\text{rep}}^{(t)}$和原始觀測數據$x$，計算差異度量$T(x_{\text{rep}}^{(t)},{\beta }^{(t)})$和$T(x,{\beta }^{(t)})$。

4. 計算后驗預測p值：后驗預測p值是$T(x_{\text{rep}}^{(t)},{\beta }^{(t)})>T(x,{\beta }^{(t)})$的情況的比例。

用數學公式和Markdown表示，PPC的蒙特卡洛估計可以寫作：

PPC ≈ 1 T ∑ t = 1 T 1 { T ( x rep ( t ) , β ( t ) ) > T ( x , β ( t ) ) } \text{PPC} \approx \frac{1}{T} \sum_{t=1}^{T} \mathbb{1}\{T(x^{(t)}_{\text{rep}}, \beta^{(t)}) > T(x, \beta^{(t)})\} PPC≈T1?t=1∑T?1{T(xrep(t)?,β(t))>T(x,β(t))}

其中$\mathbb{1}$是指示函數，當括號內的條件為真時取值為1，否則為0。

例子：平均對數概率作為差異度量

考慮差異度量為數據的平均對數概率：

$$T(x,\beta )=\frac{1}{N}\sum _{n=1}^N\log p(x_n\mid \beta )$$

在這個例子中，我們從后驗中采樣，從樣本中復制一個數據集，并計算觀測數據和復制數據的平均對數概率。如果觀測數據的對數概率一致地小于模型的后驗生成的對數概率，則模型擬合較差。
圖9:
對Belin和Rubin（1995）開發的四個模型進行的后驗預測檢驗，展示了這些模型如何捕捉和解釋數據的特征。每個面板對應一個模型，每個檢驗均通過直方圖展示了在復制數據集上應用的某種差異性度量。在每個面板中，三個差異性度量分別反映了精神分裂癥患者觀察到的最大方差（頂部）、精神分裂癥患者觀察到的最小方差（中部）以及跨所有受試者之間的個體內方差（底部）。圖中的虛線標明了觀測數據的差異性水平，它提供了與模型預測進行比較的基準。（請注意，此差異性度量是獨立于當前研究的模型的。）

Gelman等人（1996）強調了散點圖（樣本值$\beta$與差異度量）的附加價值，以進一步批評和評估模型。這種可視化可以幫助我們了解模型在不同參數設置下的表現，并可能揭示模型中的潛在問題或假設的不合理性。

PPC方法的一個關鍵優勢是它可以適應實踐者的特定需求。例如，差異度量可以針對特定應用定制，以捕捉模型在關鍵方面的表現。此外，我們可以查看多個差異度量，以了解各種模型之間的權衡。

PPC在數據分析中的應用并不廣泛，但它們為模型評估和診斷提供了一個有力的工具。通過示例和可視化，PPC可以幫助我們更好地理解模型的性能，并指導我們如何改進模型以更好地適應數據。

6. 總結

在回顧了構建和修訂概率模型的迭代過程——Box循環后，我們意識到這一循環在科學研究中具有核心地位。通過圖形模型提出初始模型，運用先進的近似推斷方法進行計算，進而評估模型與觀測數據的擬合度，并據此進行迭代修改，這一過程構成了解決現實世界數據分析問題的基石。

當前，這一循環在科研界中得到了廣泛的實踐。研究人員根據實際問題構建模型，開發相應的推斷方法，并利用模型解決特定問題。隨后，其他研究人員或同一研究人員在后續項目中會指出模型的不足之處，提出改進方案，并展示改進后的效果。

然而，當前面臨幾個挑戰。首先，我們需要開發更加高效和通用的近似推斷算法，這些算法能夠應對大量模型和大規模數據集的計算需求。在這方面，概率編程是一個有希望的研究方向。概率編程研究團隊正在開發能夠方便用戶定義模型并計算近似后驗的軟件系統（參見Gilks & Spiegelhalter 1992, Bishop等人2003, McCallum等人2009, Stan開發團隊2013；也見Infer.NET）。然而，這些系統仍需進一步提高其靈活性和效率，以支持迭代模型構建成為標準實踐。

其次，我們需要繼續發展和完善探索性數據分析的理論和方法。隨著科學家和其他數據消費者日益重視在觀測數據流中發現、理解和利用模式，探索性分析變得越來越重要。我們應該進一步發展諸如后驗預測檢查（PPCs）這樣的方法，以支持我們在大型數據集中使用復雜模型進行導航。我們還應沿著Tukey（1962）、Good（1983）和Diaconis（1985）的思路，進一步發展有原則的數據探索方法。

然而，最大的挑戰或許是我們目前尚未意識到的問題。我們的方法局限性只有在應對新的數據集和新問題時才會顯現出來。因此，從某種意義上說，這正是Box循環本身的體現。

參考文獻

以下是按照IEEE參考文獻格式整理的文獻列表：

• Airoldi, E. M., D. M. Blei, S. E. Fienberg, and E. P. Xing. “Mixed membership stochastic blockmodels.” Journal of Machine Learning Research, vol. 9, 2008, pp. 1981–2014.

• Antoniak, C. E. “Mixtures of Dirichlet processes with applications to Bayesian nonparametric problems.” Annals of Statistics, vol. 2, 1974, pp. 1152–1174.

• Asuncion, A., M. Welling, P. Smyth, and Y. W. Teh. “On smoothing and inference for topic models.” In Proceedings of the Conference on Uncertainty in Artificial Intelligence (UAI), 2009, pp. 27–34.

• Attias, H. “Inferring parameters and structure of latent variable models by variational Bayes.” In Proceedings of the Conference on Uncertainty in Artificial Intelligence (UAI), 1999, pp. 21–30.

• Attias, H. “A variational Bayesian framework for graphical models.” In Advances in Neural Information Processing Systems (NIPS), 2000, pp. 209–216.

• Baker, F. B. Item Response Theory. New York: Marcel Dekker, 1992.

• Bar-Shalom, Y., X. R. Li, and T. Kirubarajan. Estimation with Applications to Tracking and Navigation: Theory Algorithms and Software. New York: Wiley, 2004.

• Bartholomew, D. J., M. Knott, and I. Moustaki. Latent Variable Models and Factor Analysis, Vol. 899: A Unified Approach. New York: Wiley, 2011.

• Belin, T. R., and D. B. Rubin. “The analysis of repeated-measures data on schizophrenic reaction times using mixture models.” Statistical Medicine, vol. 14, 1995, pp. 747–768.

• Bell, R. M., and Y. Koren. “Lessons from the Netflix prize challenge.” ACM SIGKDD Explorations Newsletter, vol. 9, 2007, pp. 75–79.

• Bernardo, J. M., and A. F. M. Smith. Bayesian Theory. Chichester, UK: Wiley, 1994.

• Bishop, C. M. Pattern Recognition and Machine Learning. New York: Springer, 2006.

• Bishop, C. M. “Model-based machine learning.” Philosophical Transactions of the Royal Society A, vol. 371, 2013, 20120222.

• Bishop, C. M., D. Spiegelhalter, and J. Winn. “VIBES: a variational inference engine for Bayesian networks.” In Advances in Neural Information Processing Systems (NIPS), 2003, pp. 793–800.
  繼續按照IEEE參考文獻格式整理剩余的文獻列表：

• Blei, D. M. “Probabilistic topic models.” Communications of the ACM, vol. 55, no. 4, 2012, pp. 77–84.

• Blei, D. M., and J. D. Lafferty. “Dynamic topic models.” In Proceedings of the 23rd International Conference on Machine Learning (ICML), 2006, pp. 113–120.

• Blei, D. M., and J. D. Lafferty. “A correlated topic model of science.” Annals of Applied Statistics, vol. 1, no. 1, 2007, pp. 17–35.

• Blei, D. M., A. Y. Ng, and M. I. Jordan. “Latent Dirichlet allocation.” Journal of Machine Learning Research, vol. 3, 2003, pp. 993–1022.

• Box, G. E. P. “Science and statistics.” Journal of the American Statistical Association, vol. 71, no. 353, 1976, pp. 791–799.

• Box, G. E. P. “Sampling and Bayes’ inference in scientific modelling and robustness.” Journal of the Royal Statistical Society: Series A (Statistics in Society), vol. 143, no. 2, 1980, pp. 383–430.

• Box, G. E. P., and N. R. Draper. Empirical Model-Building and Response Surfaces. New York: Wiley, 1987.

• Box, G. E. P., and W. J. Hill. “Discrimination among mechanistic models.” Technometrics, vol. 9, no. 1, 1967, pp. 57–71.

• Box, G. E. P., and W. G. Hunter. “A useful method for model-building.” Technometrics, vol. 4, no. 4, 1962, pp. 301–317.

• Box, G. E. P., and W. G. Hunter. “The experimental study of physical mechanisms.” Technometrics, vol. 7, no. 1, 1965, pp. 23–42.

• Box, G. E. P., and G. C. Tiao. Bayesian Inference in Statistical Analysis. New York: Wiley, 1973.

• Brown, L. D. Fundamentals of Statistical Exponential Families with Applications in Statistical Decision Theory. Hayward, CA: Institute of Mathematical Statistics, 1986.

• Claeskens, G., and N. L. Hjort. Model Selection and Model Averaging. New York: Cambridge University Press, 2008.

• Clinton, J., S. Jackman, and D. Rivers. “The statistical analysis of roll call data.” American Political Science Review, vol. 98, no. 2, 2004, pp. 355–370.
  繼續按照IEEE參考文獻格式整理剩余的文獻列表：

• Collins, M., S. Dasgupta, and R. Schapire. “A generalization of principal component analysis to the exponential family.” In Advances in Neural Information Processing Systems (NIPS), 2002, pp. 617–624.

• Cook, R. D., and S. Weisberg. Residuals and Influence in Regression. London: Chapman & Hall, 1982.

• Dawid, A. P., and S. L. Lauritzen. “Hyper Markov laws in the statistical analysis of decomposable graphical models.” Annals of Statistics, vol. 21, no. 3, 1993, pp. 1272–1317.

• Dempster, A. P., N. M. Laird, and D. B. Rubin. “Maximum likelihood from incomplete data via the EM algorithm.” Journal of the Royal Statistical Society: Series B (Statistical Methodology), vol. 39, no. 1, 1977, pp. 1–38.

• Diaconis, P. “Theories of data analysis: from magical thinking through classical statistics.” In Exploring Data: Tables, Trends, and Shapes, edited by D. C. Hoaglin, F. Mosteller, and J. W. Tukey, New York: Wiley, 1985, pp. 1–36.

• Durbin, R., S. R. Eddy, A. Krogh, and G. Mitchison. Biological Sequence Analysis: Probabilistic Models of Proteins and Nucleic Acids. New York: Cambridge University Press, 1998.

• Efron, B. “Empirical Bayes modeling, computation, and accuracy.” Technical Report 263, Division of Biostatistics, Stanford University, Stanford, CA, 2013. [Online]. Available: http://statweb.stanford.edu/~ckirby/brad/papers/2013EBModeling.pdf

• Efron, B., and C. Morris. “Combining possibly related estimation problems.” Journal of the Royal Statistical Society: Series B (Methodological), vol. 35, no. 2, 1973, pp. 379–421.