目的

FactorAnalysis的目的是從多個高度相關的觀測變量中提取出少數幾個LatentFactor，這些因子代表了變量背后的共通結構，從而實現降維并提升可解釋性。

假設對一組學生進行了以下六門課程的測試：語文、英語、數學、物理、化學、生物，發現語文和英語成績之間高度相關，數學、物理、化學、生物也彼此高度相關。此時可以猜測：這些成績可能是由兩個更基本的“能力”決定的，比如語言能力和理科能力。通過因子分析就可以提取出這兩個潛在因子，并發現語文和英語主要由“語言能力”因子決定，理科四門主要由“理科能力”因子解釋。這樣就可以用兩個因子有效地概括了六個變量的結構，同時讓模型更易解釋、更簡潔。

正交因子分析認為因子間是正交的，即不相關的，斜交因子分析中因子間可以是相關的，本文只探討正交因子分析。

數學原理

設$‘\mathbf{X}‘$是一個可觀測的$‘m‘$維隨機向量，$‘E(\mathbf{X})=\mathbf{\mu },\mathrm{Cov}(\mathbf{X})=\Sigma =({\sigma }_{ij})‘$。正交因子分析的數學模型為：
X = μ + A F + ε { E ? ( F ) = 0 , Cov ? ( F ) = I n E ? ( ε ) = 0 , Cov ? ( ε ) = D = diag ? { σ 1 2 , … , σ m 2 } Cov ? ( F , ε ) = 0 \begin{gathered} \mathbf{X}=\boldsymbol{\mu}+AF+\varepsilon \\ \begin{cases} \operatorname{E}(F)=\mathbf{0},\;\operatorname{Cov}(F)=I_n \\ \operatorname{E}(\varepsilon)=\mathbf{0},\;\operatorname{Cov}(\varepsilon)=D=\operatorname{diag}\{\sigma_1^2,\dots,\sigma_m^2\} \\ \operatorname{Cov}(F,\varepsilon)=\mathbf{0} \end{cases} \end{gathered} X=μ+AF+ε? ? ??E(F)=0,Cov(F)=In?E(ε)=0,Cov(ε)=D=diag{σ12?,…,σm2?}Cov(F,ε)=0??
其中$‘F=(f_1,\dots ,f_n{)}^T‘$是不可觀測的$‘n‘$維隨機變量，$‘\epsilon ‘$是不可觀測的$‘m‘$維隨機變量，分別稱$‘F‘$和$‘\epsilon ‘$為CommonFactor和SpecificFactor。$‘A=(a_{ij})‘$是一個非隨機矩陣，$‘a_{ij}‘$表示公共因子$‘f_j‘$、隨機變量$‘{\mathbf{X}}_i‘$的因子載荷。$‘a_{1j},a_{2j},\dots ,a_{ij}‘$中至少有兩個不為$‘0‘$，否則可將$‘f_i‘$并入到$‘{\epsilon }_i‘$中去；$‘{\epsilon }_i‘$也僅出現在$‘{\mathbf{X}}_i‘$的表達式中。

上述因子分析模型具有如下性質：

1. $‘\Sigma =A{A}^T+D‘$；

2. 若$‘{\mathbf{X}}^{?}=C\mathbf{X}‘$，則有：
   $$\mathbf{Y}=C\mathbf{\mu }+CAF+C\epsilon ={\mathbf{\mu }}^{?}+A^{?}F+{\epsilon }^{?}$$

3. 因子載荷不唯一；

4. $‘\mathrm{Cov}(\mathbf{X},F)=A‘$，即$‘\mathrm{Cov}({\mathbf{X}}_i,F_j)=a_{ij}‘$

5. 令$‘h_i^2=\sum _{j=1}^n{a}_{ij}^2‘$，則有：
   $$\mathrm{Var}({\mathbf{X}}_i)={\sigma }_{ii}=\sum _{j=1}^n{a}_{ij}^2+{\sigma }_i^2=h_i^2+{\sigma }_i^2,i=1,2,\dots ,m$$

6. 令$‘g_j^2=\sum _{i=1}^m{a}_{ij}^2‘$，則有：
   $$\sum _{i=1}^m\mathrm{Var}({\mathbf{X}}_i)=\sum _{j=1}^n{g}_j^2+\sum _{i=1}^n{\sigma }_i^2$$

Proof. (1)由[prop:CovMat](3)(4)(5)可得：
$$\begin{array}{rl}\Sigma & =\mathrm{Cov}(\mathbf{X})=\mathrm{Cov}(\mathbf{\mu }+AF+\epsilon ,\mathbf{\mu }+AF+\epsilon )\\ & =\mathrm{Cov}(\mathbf{\mu },\mathbf{\mu }+AF+\epsilon )+\mathrm{Cov}(AF,\mathbf{\mu }+AF+\epsilon )+\mathrm{Cov}(\epsilon ,\mathbf{\mu }+AF+\epsilon )\\ & =\mathrm{Cov}(AF,\mathbf{\mu })+\mathrm{Cov}(AF)+\mathrm{Cov}(AF,\epsilon )+\mathrm{Cov}(\epsilon ,\mathbf{\mu })+\mathrm{Cov}(\epsilon ,AF)+\mathrm{Cov}(\epsilon )\\ & =A\mathrm{Cov}(F)A^T+A\mathrm{Cov}(F,\epsilon )+\mathrm{Cov}(\epsilon ,F)A^T+D\\ & =A{A}^T+D\end{array}$$

(2)顯然。

(3)取正交矩陣$‘Q‘$，令$‘A^{?}=AQ‘$，$‘F^{?}=Q^{T}F‘$，則依然有：
$$E(F^{?})=Q^{T}E(F)=0,\mathrm{Cov}(F^{?})=Q^T\mathrm{Cov}(F)Q=I_n,\mathbf{X}=\mathbf{\mu }+A^{?}{F}^{?}+\epsilon$$

(4)由[prop:CovMat](3)(4)(5)可得：
$$\mathrm{Cov}(\mathbf{X},F)=\mathrm{Cov}(\mathbf{\mu }+AF+\epsilon ,F)=\mathrm{Cov}(\mathbf{\mu },F)+\mathrm{Cov}(AF,F)+\mathrm{Cov}(\epsilon ,F)=A$$

(5)由(1)即可得到結論。

(6)由(1)可得：
$$\begin{array}{rl}\sum _{i=1}^m\mathrm{Var}({\mathbf{X}}_i)& =\mathrm{tr}[\mathrm{Cov}(\mathbf{X})]=\mathrm{tr}(A{A}^T+D)=\sum _{i=1}^m\sum _{j=1}^n{a}_{ij}^2+\sum _{i=1}^n{\sigma }_i^2\\ & =\sum _{j=1}^n\sum _{i=1}^m{a}_{ij}^2+\sum _{i=1}^n{\sigma }_i^2=\sum _{j=1}^n{g}_j^2+\sum _{i=1}^n{\sigma }_i^2\end{array}$$
?

稱$‘h_i^2‘$為變量$‘{\mathbf{X}}_i‘$的CommonVariance，它反映了公共因子對$‘{\mathbf{X}}_i‘$的方差貢獻度。稱$‘{\sigma }_i^2‘$為$‘{\mathbf{X}}_i‘$的SpecificVariance，它反映了特殊因子$‘{\epsilon }_i‘$對$‘{\mathbf{X}}_i‘$的方差貢獻度。$‘g_j^2‘$可視為公共因子$‘f_j‘$對$‘{\mathbf{X}}_1,\dots ,{\mathbf{X}}_m‘$的總方差貢獻度。

參數估計方法

主成分法

設觀測變量$‘\mathbf{X}‘$的協方差矩陣$‘\Sigma ‘$，它的特征值從大到小依次為$‘{\lambda }_1,\dots ,{\lambda }_m‘$，對應的單位正交特征向量分別為$‘l_1,\dots ,l_m‘$。于是$‘\Sigma ‘$有分解式：
$$\Sigma =\left(\begin{array}{cccc}{l}_1& l_2& ?& l_m\end{array}\right)\left(\begin{array}{cccc}{\lambda }_1& 0& ?& 0\\ 0& {\lambda }_2& ?& 0\\ ?& ?& ?& ?\\ 0& 0& ?& {\lambda }_m\end{array}\right)\left(\begin{array}{c}{l}_1^T\\ l_2^T\\ ?\\ l_m^T\end{array}\right)=\sum _{i=1}^m{\lambda }_i{l}_i{l}_i^T$$
由[prop:CovMat](2)和[theo:PositiveSemidefinite](3)的第五條可知$‘{\lambda }_m?0‘$。當最后$‘m?n‘$個特征值較小時，$‘\Sigma ‘$有如下近似：
$$\Sigma =\sum _{i=1}^m{\lambda }_i{l}_i{l}_i^T\approx \sum _{i=1}^n{\lambda }_i{l}_i{l}_i^T+\hat{D}=\hat{A}{\hat{A}}^T+\hat{D}$$
其中：
$$\hat{A}=\left(\begin{array}{ccc}\sqrt{{\lambda }_1}{l}_1& ?& \sqrt{{\lambda }_n}{l}_n\end{array}\right),\hat{D}=\mathrm{diag}(\Sigma ?\hat{A}{\hat{A}}^T)$$
與PCA一樣，一般通過使$‘\left(\sum _{i=1}^n{\lambda }_i\right)/\left(\sum _{i=1}^m{\lambda }_i\right)‘$大于一定比例來選擇$‘n‘$的具體值。

主因子法

令$‘A{A}^T=\Sigma ?D‘$。取$‘{\hat{\sigma }}_1^2,\dots ,{\hat{\sigma }}_m^2‘$為特殊方差的合理初始估計（(1)全零，(2)取$‘\underset{j\ne i}{\max }{\sigma }_{ij}‘$），則有：
$$\widehat{A{A}^T}=\left(\begin{array}{cccc}{\sigma }_{11}?{\hat{\sigma }}_1^2& {\sigma }_{12}& ?& {\sigma }_{1m}\\ {\sigma }_{21}& {\sigma }_{22}?{\hat{\sigma }}_2^2& ?& {\sigma }_{2m}\\ ?& ?& ?& ?\\ {\sigma }_{m1}& {\sigma }_{m2}& ?& {\sigma }_{mm}?{\hat{\sigma }}_m^2\end{array}\right)$$
取$‘\widehat{A{A}^T}‘$前$‘n‘$個大于$‘0‘$的特征值，從大到小依次為$‘{\hat{\lambda }}_1,\dots ,{\hat{\lambda }}_n‘$，對應的單位正交特征向量為$‘{\hat{l}}_1,\dots ,{\hat{l}}_n‘$，則有近似的：
$$\hat{A}=\left(\begin{array}{ccc}\sqrt{{\hat{\lambda }}_1}{\hat{l}}_1& ?& \sqrt{{\hat{\lambda }}_n}{\hat{l}}_n\end{array}\right)$$
令$‘{\hat{\sigma }}_i^2={\sigma }_{ii}?{\hat{h}}_i^2‘$，繼續上面的迭代過程以得到穩定的近似解。

Input: 協方差矩陣 $‘\Sigma ‘$，初始特殊方差估計
$‘{\hat{\sigma }}_1^2,\dots ,{\hat{\sigma }}_m^2‘$，目標因子數 $‘n‘$
Output: 因子載荷矩陣估計 $‘\hat{A}‘$，特殊方差估計
$‘{\hat{\sigma }}_i^2‘$

初始化 $‘{\hat{\sigma }}_i^2‘$ 為合理值 構造矩陣
$‘\widehat{A{A}^T}=\Sigma ?\mathrm{diag}({\hat{\sigma }}_1^2,\dots ,{\hat{\sigma }}_m^2)‘$
對 $‘\widehat{A{A}^T}‘$ 做特征值分解，得到部分特征值
$‘{\hat{\lambda }}_1???{\hat{\lambda }}_n‘$，及對應單位正交特征向量
$‘{\hat{l}}_1,\dots ,{\hat{l}}_n‘$ 構造因子載荷矩陣估計：
$‘\hat{A}=({\hat{a}}_{ij})=\left(\begin{array}{ccc}\sqrt{{\hat{\lambda }}_1}{\hat{l}}_1& ?& \sqrt{{\hat{\lambda }}_n}{\hat{l}}_n\end{array}\right)‘$ 令
$‘{\hat{h}}_i^2=\sum _{j=1}^n{\hat{a}}_{ij}^2‘$，更新
$‘{\hat{\sigma }}_i^2={\sigma }_{ii}?{\hat{h}}_i^2,i=1,2,\dots ,m‘$

極大似然法

推導太過困難，可以參考
J?reskog, K. G. (1963). Statistical Estimation in Factor Analysis. Almqvist and Wicksell.

Lawley, D. N. and Maxwell, A. E. (1971). Factor Analysis as a Statistical Method. Second edition. Butterworths.

因子旋轉

為了提高因子的可解釋性，我們希望每個因子對觀測變量的影響是集中且明顯的，即一個因子主要對少數幾個變量有顯著影響，對其余變量幾乎沒有作用。這種結構反映在因子載荷矩陣$‘A‘$上即為$‘A‘$每一列的元素$‘a_{ij},i=1,2,\dots ,m‘$不是均勻地分布在中間水平，而是趨于兩極分化：其絕對值要么接近于$‘0‘$，要么較大。這樣可以使得每個因子更容易被識別和解釋——因為它只與一小組變量高度相關。這種結構等價于希望載荷矩陣$‘A‘$的每一列具有稀疏性，從而便于賦予因子明確的語義標簽。

由[prop:FactorAnalysis](3)可知在初步求得因子載荷矩陣$‘A‘$后，可以使用一個正交矩陣右乘$‘A‘$，此時仍能得到一個因子模型。使用正交矩陣來右乘$‘A‘$相當于是對因子$‘F‘$進行旋轉變換，我們可以通過不斷旋轉$‘F‘$來得到更加稀疏的因子載荷矩陣，從而提高因子的可解釋性。

如何旋轉？怎么衡量旋轉后因子載荷矩陣的優良性？

令：
$$d_{ij}^2=\frac{a_{ij}^2}{h_i^2},i=1,2,\dots ,m,j=1,2,\dots ,n$$
$‘d_{ij}^2‘$衡量了因子$‘j‘$對觀測變量$‘{\mathbf{X}}_i‘$的影響，且消除了$‘a_{ij}‘$的正負號帶來的差異和各觀測變量在因子載荷大小上的不同帶來的差異。定義第$‘j‘$列$‘p‘$個數據$‘d_{ij}^2,i=1,2,\dots ,m‘$的方差為：
$$\begin{array}{rl}{V}_j& =\frac{1}{m}\sum _{i=1}^m(d_{ij}^2?{\bar{d}}_j{)}^2=\frac{1}{m}\sum _{i=1}^m\left(d_{ij}^2?\frac{1}{p}\sum _{i=1}^m{d}_{ij}^2\right)\\ & =\frac{1}{m}\left[\sum _{i=1}^m{d}_{ij}^4?m\frac{1}{m^2}{\left(\sum _{i=1}^m{d}_{ij}^2\right)}^2\right]\\ & =\frac{1}{m^2}\left[m\sum _{i=1}^m{d}_{ij}^4?\frac{1}{m}{\left(\sum _{i=1}^m{d}_{ij}^2\right)}^2\right]\\ & =\frac{1}{m^2}\left[m\sum _{i=1}^m\frac{a_{ij}^4}{h_i^4}?\frac{1}{m}{\left(\sum _{i=1}^m\frac{a_{ij}^2}{h_i^2}\right)}^2\right]\end{array}$$
若$‘V_j‘$越大，則第$‘j‘$個因子對觀測變量的影響越集中。定義因子載荷矩陣$‘A‘$的方差為：
$$V=\sum _{j=1}^n{V}_j=\frac{1}{m^2}?\sum _{j=1}^n\left[m\sum _{i=1}^m\frac{a_{ij}^4}{h_i^4}?\frac{1}{m}{\left(\sum _{i=1}^m\frac{a_{ij}^2}{h_i^2}\right)}^2\right]?$$
若$‘V‘$越大，則表明因子對觀測變量的影響越集中。

綜上，我們只需使得旋轉后得到的因子載荷矩陣$‘A‘$的方差$‘V‘$達到最大即可。

模型檢驗

由上面的討論可以看出，潛在因子的數目是一個超參數，也是一個非常重要的參數，我們該如何選擇呢？有沒有什么辦法能夠確定這一超參數的值？
在正態性假設下（仍需假設$\mathbf{X}$是$n$維正態隨機向量），我們可以對求解后的因子分析模型進行似然比檢驗。
設樣本數為$p$，分別為${\mathbf{X}}_1,{\mathbf{X}}_2,\dots ,{\mathbf{X}}_{\mathbf{p}}$，都獨立同分布于$N_m(\mathbf{\mu },\Sigma )$。構建似然比檢驗假設：
$$\begin{array}{c}{H}_0:\Sigma =A{A}^T+D,H_1:\Sigma \text{為其它任一正定矩陣}\end{array}$$
由\cref{def:MultiNormalPDF2}可得此時備擇假設下的對數似然函數為：
$$\begin{array}{rl}{L}_1& =\sum _{i=1}^p\ln \left\{\frac{1}{(2\pi {)}^{\frac{m}{2}}(\det \Sigma {)}^{\frac{1}{2}}}{e}^{?\frac{1}{2}\mathrm{tr}[({\mathbf{X}}_{\mathbf{i}}?\mathbf{\mu })({\mathbf{X}}_{\mathbf{i}}?\mathbf{\mu }{)}^T{\Sigma }^{?1}]}\right\}\\ & =\sum _{i=1}^p\left\{?\frac{m}{2}\ln (2\pi )?\frac{1}{2}\ln (\det \Sigma )?\frac{1}{2}\mathrm{tr}[({\mathbf{X}}_{\mathbf{i}}?\mathbf{\mu })({\mathbf{X}}_{\mathbf{i}}?\mathbf{\mu }{)}^T{\Sigma }^{?1}]\right\}\\ & =?\frac{p}{2}\left\{m\ln (2\pi )+\ln (\det \Sigma )+\frac{1}{p}\sum _{i=1}^p\mathrm{tr}[({\mathbf{X}}_{\mathbf{i}}?\mathbf{\mu })({\mathbf{X}}_{\mathbf{i}}?\mathbf{\mu }{)}^T{\Sigma }^{?1}]\right\}\end{array}$$
上式可以化為（樣本因子分析時需要注意使用協方差矩陣的無偏估計，系數應取$p?1$）：
$$\begin{array}{c}{L}_1(\Sigma )=?\frac{p}{2}\left[m\ln (2\pi )+\ln (\det \Sigma )+\mathrm{tr}(S{\Sigma }^{?1})\right]\end{array}$$
其中$S$為樣本協方差陣。這個似然函數在$\Sigma =S$時取最大值，于是：
$$\begin{array}{c}{L}_1=?\frac{p}{2}[m\ln (2\pi )+\ln (\det S)+p]\end{array}$$
同理，此時原假設下的似然函數值為：
$$\begin{array}{c}{L}_2=?\frac{p}{2}\left[m\ln (2\pi )+\ln (\det \hat{\Sigma })+\mathrm{tr}(S\hat{\Sigma })\right]\end{array}$$
其中$\hat{\Sigma }=\hat{A}{\hat{A}}^T?\hat{D}$。
由似然比檢驗原理可知：
$$\begin{array}{c}?2[L_2(\Sigma )?L_1(\Sigma )]=～{\chi }_{df}^2\end{array}$$
當
$$\begin{array}{c}p[\ln (\det \hat{\Sigma })+\mathrm{tr}(S\hat{\Sigma })?\ln (\det S)?p]>{\chi }_{0.95}^2(df)\end{array}$$
時應拒絕原假設，即$n$個因子不足以解釋數據，應增大因子個數。其中${\chi }_{0.95}^2(df)$為分布的$0.95$分位數。

不介紹自由度的計算，有點復雜，R語言factanal函數中使用的自由度計算公式為dof <- 0.5 * ((p - factors)^2 - p - factors)，其中p為變量數，factors為潛在因子數。

因子得分

在擬合得到因子載荷矩陣后，我們可以反過來求解各樣本因子的取值，這樣一來就可以根據因子值去進行進一步的分析。例如在開頭的例子里，我們可以得到每個學生語言能力與理科能力的值，進而可以進行分類或選擇。
因子得分主要有兩種計算方式。

加權最小二乘法

考慮加權最小二乘函數：
$$\begin{array}{c}\phi (F)=(\mathbf{X}?\mathbf{\mu }?AF{)}^T{D}^{?1}(\mathbf{X}?\mathbf{\mu }?AF)\end{array}$$
求：
$$\begin{array}{c}\hat{F}=\arg \min \phi (F)\end{array}$$
由極值的必要條件得到：
$$\begin{array}{c}\frac{?\phi (F)}{?F}=?2A^T{D}^{?1}(\mathbf{X}?\mathbf{\mu }?AF)=0\\ A^T{D}^{?1}(\mathbf{X}?\mathbf{\mu })=A^T{D}^{?1}AF\\ F=(A^T{D}^{?1}A{)}^{?1}{A}^T{D}^{?1}(\mathbf{X}?\mathbf{\mu })\end{array}$$
需要注意$A^T{D}^{?1}A$的可逆性。\par
若認為$\mathbf{X}～N_m(\mathbf{\mu }+AF,D)$，則上述解得的$F$也是極大似然估計的結果。
稱加權最小二乘法得到的因子得分為Bartlett因子得分。
從求解過程可以看出，該方法實際上是對特殊方差更大的變量施以更寬容的殘差值。

回歸法

設：
$$\begin{array}{c}{f}_j=\sum _{i=1}^m{b}_{ji}{\mathbf{X}}_i+{\epsilon }_j,\mathrm{Cov}({\mathbf{X}}_i,{\epsilon }_j)=0,j=1,2,\dots ,n\end{array}$$
由\cref{prop:FactorAnalysis}(4)和\cref{prop:CovMat}(3)(5)可知：
$$\begin{array}{c}{a}_{ij}=\mathrm{Cov}({\mathbf{X}}_i,f_j)=\mathrm{Cov}\left({\mathbf{X}}_i,\sum _{k=1}^m{b}_{jk}{\mathbf{X}}_k+{\epsilon }_j\right)=\sum _{k=1}^m{\sigma }_{ik}{b}_{jk}\end{array}$$
令$B=(b_{ij})$，則有：
$$\begin{array}{c}A=\Sigma B^T\end{array}$$
于是$B=A^T{\Sigma }^{?1}$，需要注意$\Sigma$的可逆性。回歸法的因子得分即為：
$$\begin{array}{c}F=A^T{\Sigma }^{?1}\mathbf{X}\end{array}$$

代碼實現

R語言中使用Factanal函數進行因子分析，注意它使用極大似然估計法進行參數估計。

factanal(x, factors, data = NULL, covmat = NULL, n.obs = NA,subset, na.action, start = NULL,scores = c("none", "regression", "Bartlett"),rotation = "varimax", control = NULL, ...)

1. x：formula或矩陣或數據框。formula時要用data參數來指定數據來源，因為因子分析是對變量的考察，所以formula應形如~X_1+X_2+X_3，~左側為空，右端指定觀測變量。若為矩陣或數據框，其行數應為樣本數，列數應為觀測變量數。若covmat被指定，則不應指定x。
2. factors：指定潛在因子個數，應為正整數。
3. data：x為formula時指定數據來源。
4. covmat：指定觀測變量協方差矩陣，被指定時不需要傳遞x, data。
5. n.obs：樣本數，指定covmat時需要明確樣本數。
6. subset, na.action：選擇樣本子集及缺失值處理
7. start：特殊方差迭代時的初始值，無需深究，除非你懂了極大似然估計法估計參數。
8. scores：指定因子得分計算方式，"none"表示不計算因子得分。
9. rotation：因子旋轉，值只能為"varimax"或none，前者表示使用varimax函數來進行正交旋轉，后者表示不進行因子旋轉。

注意事項

1. factanal()函數只提供正交因子分析，斜交因子分析請另外找包。
2. 若只提供covmat ，無法進行似然比檢驗，結果將會輸出擬合殘差平方和與自由度，但如果此時提供n.obs，則會輸出似然比檢驗的結果。

例子

x<-c(1.000,0.923, 1.000,0.841, 0.851, 1.000,0.756, 0.807, 0.870, 1.000,0.700, 0.775, 0.835, 0.918, 1.000,0.619, 0.695, 0.779, 0.864, 0.928, 1.000,0.633, 0.697, 0.787, 0.869, 0.935, 0.975, 1.000,0.520, 0.596, 0.705, 0.806, 0.866, 0.932, 0.943, 1.000)
names<-c("X1", "X2", "X3", "X4", "X5", "X6", "X7", "X8")
R<-matrix(0, nrow=8, ncol=8, dimnames=list(names, names))
for (i in 1:8){for (j in 1:i){R[i,j]<-x[(i-1)*i/2+j]; R[j,i]<-R[i,j]}
}
factanal(factors = 3, covmat = R, n.obs = 20)Call:
factanal(factors = 3, covmat = R, n.obs = 20)Uniquenesses:X1    X2    X3    X4    X5    X6    X7    X8 
0.005 0.106 0.144 0.080 0.057 0.038 0.010 0.090 Loadings:Factor1 Factor2 Factor3
X1  0.284   0.956         
X2  0.395   0.851   0.119 
X3  0.543   0.723   0.196 
X4  0.682   0.595   0.318 
X5  0.797   0.501   0.240 
X6  0.900   0.382         
X7  0.914   0.391         
X8  0.913   0.273         Factor1 Factor2 Factor3
SS loadings      4.110   3.139   0.221
Proportion Var   0.514   0.392   0.028
Cumulative Var   0.514   0.906   0.934Test of the hypothesis that 3 factors are sufficient.
The chi square statistic is 0.79 on 7 degrees of freedom.
The p-value is 0.998 

1. Uniquenesses即為特殊方差的值
2. loadings表示因子載荷，其中較小的因子載荷會顯示空值
3. SS loadings為$g_j^2$，Proportion Var為因子對所有觀測變量總方差的貢獻率，即$g_j^2/\sum _{i=1}^m\mathrm{Var}({\mathbf{X}}_i)$，Cumulative Var為累計方差貢獻率。
4. 最底下是似然比檢驗的結果，若p值小于0.05，則應增大潛在因子數。

Reference

1.薛毅，統計建模與R軟件