參數估計講什么

1. 由樣本來確定未知參數
2. 參數估計分為點估計與區間估計

一. 點估計

所謂點估計是指用某個確定的值或在某個確定的點來估計總體的未知參數，所以點估計又稱為定值估計。

構造估計量$(X_1,X_2...，)$的方法很多，下面介紹常用的矩估計法和極大似然估計法。

?

1. 矩估計法

原點矩概念

• 原點矩（Raw Moments）是描述隨機變量分布的一種數學量，它是隨機變量的冪次期望。
• 具體來說，對于一個隨機變量 X，其 r 階原點矩定義為：${\mu }_r^{\prime }=E[X^r]$ 其中 E 表示期望運算符。
• 假設 X 是一個服從正態分布的隨機變量，我們可以用原點矩計算其各階矩：
  • 一階原點矩 ${\mu }_1^{\prime }=E[X]$ 是正態分布的均值 μ。
  • 二階原點矩 ${\mu }_2^{\prime }=E[X^2]$是正態分布的均值 μ 和方差 ${\sigma }^2$ 的和，即$\mu 2^{\prime }=\text{Var}(X)+(\mu {)}^2$。

?
用樣本矩估計參數
樣本矩在一定程度上反映了總體矩的特征，且在樣本容量n增大的條件下，樣本的k階原點矩 $A_k=1/n{\sum }_{i=1}^n{X}_i^k$ 依概率收斂到總體X的k階原點矩 ${\mu }_k=E(X^k)$，即$A_k{?}^P>{\mu }_k$(n →∞)， k=1，2，…。

因而自然想到用樣本矩作為相應總體矩的估計量，而以樣本矩的連續函數作為相應總體矩的連續函數的估計量，這種估計方法就稱為矩估計法。

?
矩估計法的一般做法:設總體 $X～F(X;{\theta }_1,{\theta }_2,...)$其 中 ${\theta }_1,{\theta }_2$ … 均未知。

?

1. $A_1$ 代表一階原點矩，就是平均值，當趨于無窮時， $A_1$ 收斂于 ${\mu }_1$
2. xf(x;θ)是求一階原點矩的通用公式
3. 得到θ與μ的關系之后，就可得θ的矩估計值$\hat{\theta }$。

?

2. 極大似然法

極大似然估計法(Maximum Likelihood Estimation)只能在已知總體分布的前提下進行。

例如，假定一個盒子里裝有許多大小相同的 黑球和白球，并且假定它們的數目之比為3∶1，但不知是白球多還是黑球多，現在有放回地從盒中抽了3個球，試根據所抽3個球中黑球的數目確定是白球多還是黑球多。

?

2.1. 似然函數

在極大似然估計法中，最關鍵的問題是如何求得似然函數，有了似然函數，問題就簡單了，下面分兩種情形來介紹似然函數。

(1)離散型總體

p為$X_n$ 變量θ的概率

?
（2）連續型總體

只要知道概率分布或密度函數就可以得到關于θ的似然函數。

?

2.2. 極大似然估計法

主要思想

轉換為求似然函數的最大值。
簡化為：dlnL(θ)/dθ=0

?

推廣到k個未知參數也適用

?

3. 評價估計量的標準

設總體$X$服從$[0,\theta ]$上的均勻分布， 如下分別使用點估計和極大似然法來估計θ

${\hat{\theta }}_{矩}=2\bar{X}$，
θ ^ L m a x 1 < = i < = n { X i } \hat{θ}_L \underset{1<=i<=n}{max}{\{X_i\}} θ^L?1<=i<=nmax?{Xi?}

這兩個估計哪一個好呢?下面我們首先討論衡量估計量好壞的標準問題。

?

3.1. 無偏性

若估計量$(X_1，X_2，...，X_n)$的數學期望等于未知參數 ，即 $E(\hat{\theta })=\theta$ 則稱 $\hat{\theta }$為θ的無偏估計量(Non-deviationEstimator)。

估計量 $\hat{\theta }$ 的值不一定就是θ的真值，因為它是一個隨機變量，若 $\hat{\theta }$ 是θ的無偏估計，則盡管 $\hat{\theta }$的值隨樣本值的不同而變化，但平均來說它會等于θ的真值。

?

3.2. 有效性

對于未知參數θ ，如果有兩個無偏估計量${\hat{\theta }}_1$ 與 ${\hat{\theta }}_2$ ，即$E({\hat{\theta }}_1)$ = $E({\hat{\theta }}_2)$ =θ，那么在${\hat{\theta }}_1$ 與 ${\hat{\theta }}_2$中誰更好呢?

此時我們自然希望θ,的平均偏差$E(\hat{\theta }?\theta {)}^2$越小越好，即一個好的估計量應該有盡可能小的方差，這就是有效性。如下分析：

舉例說明

?

3.3. 一致性

隨著樣本的增大，n隨概率收斂于θ真值

?

二. 區間估計

1. 區間估計的概念

μ概率的問題：

我們給出μ的大致范圍，使得μ有較高的概率在這個范圍內，這就是區間估計問題。

?

置信區間、置信概率（置信度）

定義中的隨機區間$({\theta }_1,{\theta }_2)$的大小依賴于隨機抽取的樣本觀測值，它可能包含θ ，也可能不包含，上式的意義是指θ在$({\theta }_1,{\theta }_2)$區間的概率是1-a 。

例如，若取 a=0.05，那么置信概率為1-a =0.95，這時置信區間$({\theta }_1,{\theta }_2)$的意義是指:在100次重復抽樣所得到的100個置信區間中，大約有95個區間包含參數真值θ，有5個區間不包含真值。

?

2. 正態總體參數的區間估計

?
如果未知，則用方差代替

練習題ing

?
當容量很大時，由中心極限定理，下式服從標準正態分布。

?