參數估計

通過取樣本，并用樣本構造函數，達成估計分布函數參數的目的

矩估計法

本質：用樣本的各階矩代替總體的各階矩，即取：

$$\begin{gathered} E(X)=\overline{X}=\frac{1}{n}\sum _i{X}_i \\ E(X^2)=\frac{1}{n}\sum _i{X}_i^2 \end{gathered}$$

極大似然估計法

本質：將使得樣本 $A$ 發生概率最大的參數值作為估計值

1、寫出總體概率/密度函數

2、構造似然函數 $L(\lambda )$

3、兩邊取 $\ln$

4、對 $\lambda$ 求導

點估計的優良性準則

一、無偏性：$E(\hat{\theta })=\theta$

定理：總體為 $X$，且 $E(X)=\mu$，$D(X)={\sigma }^2$，樣本為 $(X_1,?,X_n)$，那么有：

1、$\overline{X}$ 是 $\mu$ 的無偏估計

2、樣本方差 $S^2$ 是 ${\sigma }^2$ 的無偏估計

3、取 $\hat{\mu }=C_1{X}_1+?+C_n{X}_n$，若 $C_1+?+C_n=1$，則 $\hat{\mu }$ 是 $\mu$ 的無偏估計

證明：

1 與 2：

已經在 上一份筆記 中證明過 $E(\overline{X})=\mu$ 和 $E(S^2)={\sigma }^2$

3：

$$\begin{array}{rl}E(\hat{\mu })& =E(C_1{X}_1+?+C_n{X}_n)\\ & =E(C_1{X}_1)+?+E(C_n{X}_n)\\ & =C_{1}E(X_1)+?+C_{n}E(X_n)\\ & =(C_1+?+C_n)\mu \\ & =\mu \end{array}$$

！注意：$\hat{\theta }$ 是 $\theta$ 的無偏估計，但是 $g(\hat{\theta })$ 不一定是 $g(\theta )$ 的無偏估計
例如：$S^2$ 是 ${\sigma }^2$ 的無偏估計，而 $S$ 不是 $\sigma$ 的無偏估計(性質)
該性質的證明：
$$\begin{array}{rl}& D(S)=E(S^2)?E(S{)}^2\\ & ={\sigma }^2?E(S{)}^2\\ & ?E(S)=\sqrt{{\sigma }^2?D(S)}?\sigma \end{array}$$

二、有效性：$D(\widehat{{\theta }_1})?D(\widehat{{\theta }_2})$

定理：總體為 $X$，且 $E(X)=\mu$，$D(X)={\sigma }^2$，樣本為 $(X_1,?,X_n)$，若 $a_1+?+a_n=1$，則現有兩種 $\mu$ 的估計：$a_1{X}_1+?+a_n{X}_n$ 與 $\overline{X}$，由有效性準則認為，$\overline{X}$ 更優

證明：

由 上一份筆記 知 $D(\overline{X})=\frac{{\sigma }^2}{n}$

那么有：

$$\begin{array}{rl}D(\hat{\theta })& =D(a_1{X}_1+?+a_n{X}_n)\\ & =a_1^{2}D(X_1)+?+a_n^{2}D(X_n)\\ & ={\sigma }^2(a_1^2+?+a_n^2)\\ & ?\frac{{\sigma }^2}{n}\end{array}$$

三、相合性(一致性)：$\underset{n\to +\infty }{\lim }P(|\hat{\theta }?\theta |<\epsilon )=1$

置信區間

區間估計時，區間長度 和 落在區間的概率 十分重要

若 $P({\theta }_1?\theta ?{\theta }_2)=1?\alpha$，則 $1?\alpha$ 稱為 置信度，而 $[{\theta }_1,{\theta }_2]$ 則是估計區間

定義：

1、$I=I(T,\theta )$，其中 $\theta$ 是未知參數，$T$ 是已知的，隨機變量 $I$ 的分布 $F$ 已知且其分布與 $\theta$ 無關，則將 $I$ 稱為 樞軸變量

2、給定 $1?\alpha$，確定 $F$ 的上 $\frac{\alpha }{2}$ 分位數為 $v_{\frac{\alpha }{2}}$，上 $1?\frac{\alpha }{2}$ 為 $v_{1?\frac{\alpha }{2}}$，則：

$$P\left(v_{\frac{\alpha }{2}}?I(T,\theta )?v_{1?\frac{\alpha }{2}}\right)=1?\alpha$$

一個正態總體的均值和方差的區間估計

設 $v=\frac{\sqrt{n}(\overline{X}?\mu )}{\sigma }～N(0,1)$

給定 $1?\alpha$，令 $P(v>u_{\frac{\alpha }{2}})=\frac{\alpha }{2}$

1、${\sigma }^2$ 已知，對 $\mu$ 的區間估計：

$$\begin{array}{rl}& P\left(?u_{\frac{\alpha }{2}}?\frac{\sqrt{n}(\overline{X}?\mu )}{\sigma }?u_{\frac{\alpha }{2}}\right)=1?\alpha \\ & P\left(?\frac{\sigma u_{\frac{\alpha }{2}}}{\sqrt{n}}?\overline{X}?\mu ?\frac{\sigma u_{\frac{\alpha }{2}}}{\sqrt{n}}\right)=1?\alpha \\ & P\left(\overline{X}?\frac{\sigma u_{\frac{\alpha }{2}}}{\sqrt{n}}?\mu ?\overline{X}+\frac{\sigma u_{\frac{\alpha }{2}}}{\sqrt{n}}\right)=1?\alpha \end{array}$$

也就是說，有 $1?\alpha$ 的把握，認為 $\mu$ 在區間 $\left[\overline{X}?\frac{\sigma u_{\frac{\alpha }{2}}}{\sqrt{n}},\overline{X}+\frac{\sigma u_{\frac{\alpha }{2}}}{\sqrt{n}}\right]$ 中

2、${\sigma }^2$ 未知，對 $\mu$ 的區間估計：

構造樞軸變量：$T=\frac{\sqrt{n}(\overline{X}?\mu )}{S}～t(n?1)$

$$\begin{array}{rl}& P\left(?t_{\frac{\alpha }{2}}(n?1)?\frac{\sqrt{n}(\overline{X}?\mu }{S}?t_{\frac{\alpha }{2}}(n?1)\right)=1?\alpha \\ & ?P\left(\overline{X}?\frac{S}{\sqrt{n}}{t}_{\frac{\alpha }{2}}(n?1)?\mu ?\overline{X}+\frac{S}{\sqrt{n}}{t}_{\frac{\alpha }{2}}(n?1)\right)=1?\alpha \end{array}$$

也就是說，有 $1?\alpha$ 的把握，認為 $\mu$ 在區間 $\left[\overline{X}?\frac{S}{\sqrt{n}}{t}_{\frac{\alpha }{2}}(n?1),\overline{X}+\frac{S}{\sqrt{n}}{t}_{\frac{\alpha }{2}}(n?1)\right]$ 中

3、$\mu$ 已知，對 ${\sigma }^2$ 的區間估計：

構造樞軸變量：${\chi }^2=\frac{1}{{\sigma }^2}\sum _{i=1}^n(X_i?\mu {)}^2～{\chi }^2(n)$，給定 $1?\alpha$、${\chi }_{1?\frac{\alpha }{2}}^2(n)$ 及 ${\chi }_{\frac{\alpha }{2}}^2(n)$

注意：之所以不繼續使用正態分布的樞軸變量，是因為 $\sigma$ 在開平方后不是無偏估計

$$\begin{array}{rl}& P\left({\chi }_{1?\frac{\alpha }{2}}^2(n)?\frac{1}{{\sigma }^2}\sum _{i=1}^n(X_i?\mu {)}^2?{\chi }_{\frac{\alpha }{2}}^2(n)\right)=1?\alpha \\ & ?\frac{{\sum }_{i=1}^n(X_i?\mu {)}^2}{{\chi }_{\frac{\alpha }{2}}^2(n)}?{\sigma }^2?\frac{{\sum }_{i=1}^n(X_i?\mu {)}^2}{{\chi }_{1?\frac{\alpha }{2}}^2(n)}\end{array}$$

也就是說，有 $1?\alpha$ 的把握，認為 ${\sigma }^2$ 在區間 $\left[\frac{{\sum }_{i=1}^n(X_i?\mu {)}^2}{{\chi }_{\frac{\alpha }{2}}^2(n)},\frac{{\sum }_{i=1}^n(X_i?\mu {)}^2}{{\chi }_{1?\frac{\alpha }{2}}^2(n)}\right]$ 中

4、$\mu$ 未知，對 ${\sigma }^2$ 的區間估計：

構造樞軸變量：${\chi }^2=\frac{(n?1)S^2}{{\sigma }^2}～{\chi }^2(n?1)$，給定 $1?\alpha$、${\chi }_{1?\frac{\alpha }{2}}^2(n?1)$ 及 ${\chi }_{\frac{\alpha }{2}}^2(n?1)$

$$\begin{array}{rl}& P\left({\chi }_{1?\frac{\alpha }{2}}^2(n?1)?\frac{(n?1)S^2}{{\sigma }^2}?{\chi }_{\frac{\alpha }{2}}^2(n?1)\right)=1?\alpha \\ & ?P\left(\frac{(n?1)S^2}{{\chi }_{\frac{\alpha }{2}}^2(n?1)}?{\sigma }^2?\frac{(n?1)S^2}{{\chi }_{1?\frac{\alpha }{2}}^2(n?1)}\right)=1?\alpha \end{array}$$

也就是說，有 $1?\alpha$ 的把握，認為 ${\sigma }^2$ 在區間 $\left[\frac{(n?1)S^2}{{\chi }_{\frac{\alpha }{2}}^2(n?1)},\frac{(n?1)S^2}{{\chi }_{1?\frac{\alpha }{2}}^2(n?1)}\right]$ 中