我們正在處理一個存在缺失數據的回歸模型，并且希望采用一種非參數的逆概率加權方法來調整估計，以應對這種缺失數據的情況。

首先，我們需要明確問題的背景。我們有樣本 { ( Y i , X i , r i ) : i = 1 , … , n } \left\{\left(Y_i, \boldsymbol{X}_i, r_i\right): i=1, \ldots, n\right\} {(Yi?,Xi?,ri?):i=1,…,n}，其中 $Y_i$ 是因變量，${\mathbf{X}}_i$ 是自變量，而 $r_i$ 是一個指示變量：如果 $Y_i$ 被觀測到，則 $r_i=1$，否則 $r_i=0$。缺失機制是隨機的，即 $r_i$ 以概率 ${\pi }_i=\pi ({\mathbf{X}}_i)$ 服從伯努利分布，且與 ${\mathbf{X}}_i$ 獨立。

關鍵在于，如果我們只使用完全數據（即 $r_i=1$ 的數據），估計結果可能會有偏差，因為缺失數據并不是完全隨機的。為了糾正這一點，我們采用逆概率加權法，通過加權來平衡觀測數據，以反映整個數據集的情況。

目標函數被修改為：

$${\hat{\mathbf{\beta }}}_h=\arg \underset{\mathbf{\beta }\in {\mathbb{R}}^p}{\min }\sum _{i=1}^n\frac{r_i}{\pi \left({\mathbf{X}}_i\right)}M$$

讓我們逐步解析這個目標函數。

1. 逆概率加權：項 $\frac{r_i}{{\pi }_i}$ 是逆概率加權的關鍵。它通過除以觀測概率 ${\pi }_i$ 來加權每個觀測數據點。這樣做的目的是，那些更有可能被觀測到的數據點會被賦予更高的權重，從而在估計過程中得到更多的關注。這有助于糾正由于缺失數據引入的偏差。

2. 函數 $M$：一個目標函數

3. 目標函數：整個目標函數是在所有樣本上最小化加權和。即使某些 $Y_i$ 缺失，我們也會對所有樣本進行求和，但只有當 $r_i=1$ 時，即 $Y_i$ 被觀測到時，才會對求和有貢獻。

4. 期望條件：提到的期望條件 $E\left\{\frac{r_i}{{\pi }_i}?1|{\mathbf{X}}_i\right\}=0$ 表明，逆概率加權調整在給定 ${\mathbf{X}}_i$ 的情況下，平均而言是無偏的。這是因為：

$$E\left\{\frac{r_i}{{\pi }_i}\mid {\mathbf{X}}_i\right\}=\frac{E(r_i\mid {\mathbf{X}}_i)}{{\pi }_i}=\frac{{\pi }_i}{{\pi }_i}=1$$

因此，$E\left\{\frac{r_i}{{\pi }_i}?1\mid {\mathbf{X}}_i\right\}=0$，這意味著加權項在給定 ${\mathbf{X}}_i$ 的情況下，平均而言是中性的，從而有助于無偏估計。

這描述了如何通過逆概率加權法調整回歸的目標函數，以處理缺失數據。通過為每個觀測數據點分配一個與其觀測概率成反比的權重，我們確保估計結果不會因數據缺失機制而產生偏差。

這種方法特別有用，因為它允許我們在不完全排除缺失數據的情況下，有效地利用所有可用數據，從而提高估計的效率和可靠性。

$$\boxed{\text{該目標函數通過逆概率加權法調整回歸，以處理缺失數據，確保估計結果無偏且高效。}}$$

這里提到的隨機缺失是什么意思？詳細解釋一下這里的逆概率加權是什么意思，為什么期望是那樣的？

我們來詳細理解一下“隨機缺失”和“逆概率加權”這兩個概念，以及為什么在給定${\mathbf{X}}_i$的情況下，期望$E\left\{\frac{r_i}{{\pi }_i}?1|{\mathbf{X}}_i\right\}=0$。

首先，隨機缺失（Missing at Random, MAR） 是指數據的缺失機制與未觀測到的數據無關，但可能與已觀測到的數據相關。換句話說，給定已觀測到的變量${\mathbf{X}}_i$，數據是否缺失僅取決于${\mathbf{X}}_i$，而不取決于未觀測到的$Y_i$。這一假設非常重要，因為它允許我們使用已觀測到的信息來調整缺失數據的影響，從而減少估計偏差。

接下來，逆概率加權（Inverse Probability Weighting, IPW） 是一種處理缺失數據的方法，通過為每個觀測到的數據點分配一個權重，這個權重是其被觀測到的概率的倒數。具體來說，如果一個數據點被觀測到的概率是${\pi }_i$，那么它的權重就是$\frac{1}{{\pi }_i}$。這樣做的目的是使每個數據點在分析中的權重與其被觀測到的概率成反比，從而平衡觀測數據，使其更具代表性。

現在，我們來探討為什么在給定${\mathbf{X}}_i$的情況下，期望$E\left\{\frac{r_i}{{\pi }_i}?1|{\mathbf{X}}_i\right\}=0$。我們逐步分析如下：

E { r i π i ? 1 ∣ X i } = E { r i π i ∣ X i } ? E { 1 ∣ X i } E\left\{\left.\frac{r_i}{\pi_i} - 1 \right| \boldsymbol{X}_i\right\} = E\left\{\left.\frac{r_i}{\pi_i} \right| \boldsymbol{X}_i\right\} - E\left\{1 \mid \boldsymbol{X}_i\right\} E{πi?ri???1 ?Xi?}=E{πi?ri?? ?Xi?}?E{1∣Xi?}

由于 E { 1 ∣ X i } = 1 E\left\{1 \mid \boldsymbol{X}_i\right\} = 1 E{1∣Xi?}=1，我們只需計算$E\left\{\frac{r_i}{{\pi }_i}|{\mathbf{X}}_i\right\}$。

根據隨機缺失假設，$r_i$在給定${\mathbf{X}}_i$的條件下服從伯努利分布，即$r_i\mid {\mathbf{X}}_i～\text{B}({\pi }_i)$。因此，

E { r i ∣ X i } = π i E\left\{\left. r_i \right| \boldsymbol{X}_i \right\} = \pi_i E{ri?∣Xi?}=πi?

于是，

E { r i π i ∣ X i } = E { r i ∣ X i } π i = π i π i = 1 E\left\{\left.\frac{r_i}{\pi_i} \right| \boldsymbol{X}_i\right\} = \frac{E\left\{\left. r_i \right| \boldsymbol{X}_i \right\}}{\pi_i} = \frac{\pi_i}{\pi_i} = 1 E{πi?ri?? ?Xi?}=πi?E{ri?∣Xi?}?=πi?πi??=1

因此，

$$E\left\{\frac{r_i}{{\pi }_i}?1|{\mathbf{X}}_i\right\}=1?1=0$$

這表明，逆概率加權調整在給定${\mathbf{X}}_i$的條件下，平均而言是無偏的。通過這種方式，我們能夠有效地處理缺失數據，減少估計偏差，提高分析的準確性。

希望這些解釋能夠幫助你更好地理解這些概念及其背后的數學原理。

假設 $r_i$ 服從參數為 ${\pi }_i$ 的伯努利分布：

E { r i ∣ X i } = π i E\left\{\left. r_i \right| \boldsymbol{X}_i \right\} = \pi_i E{ri?∣Xi?}=πi?

因此，

E { r i π i ∣ X i } = 1 π i E { r i ∣ X i } = π i π i = 1 E\left\{\left. \frac{r_i}{\pi_i} \right| \boldsymbol{X}_i \right\} = \frac{1}{\pi_i} E\left\{\left. r_i \right| \boldsymbol{X}_i \right\} = \frac{\pi_i}{\pi_i} = 1 E{πi?ri?? ?Xi?}=πi?1?E{ri?∣Xi?}=πi?πi??=1

由此可得，

$$E\left\{\frac{r_i}{{\pi }_i}?1|{\mathbf{X}}_i\right\}=1?1=0$$

這表明，逆概率加權調整項 $\frac{r_i}{{\pi }_i}$ 在給定 ${\mathbf{X}}_i$ 的條件下，其期望值為 1，因此其中心化版本 $\frac{r_i}{{\pi }_i}?1$ 的期望值為零。這意味著，平均而言，逆概率加權調整不會引入偏差，從而確保估計量在給定 ${\mathbf{X}}_i$ 的條件下保持無偏性。

總結如下：

• 隨機缺失（MAR）：數據的缺失僅依賴于已觀測的數據，而不依賴于未觀測的數據，這使得我們能夠基于觀測數據的概率來調整缺失數據的影響。

• 逆概率加權（IPW）：通過將每個觀測數據點的權重設置為其被觀測概率的倒數，我們能夠平衡數據，減少因缺失數據引入的偏差。

• 期望條件：逆概率加權調整項在給定 ${\mathbf{X}}_i$ 的情況下，平均值為 1，確保了估計的無偏性。

$$\boxed{\text{隨機缺失意味著缺失僅依賴于已觀測的數據，逆概率加權通過使用被觀測概率的倒數作為權重來調整缺失數據，確保在給定?}{\mathbf{X}}_i\text{?的情況下，期望調整項的平均值為零，從而保證估計的無偏性。}}$$

上面的推導我基本明白了，但是為什么期望為0就是無偏呢？無偏性難道不是估計量的期望等于真參數嘛？

無偏性通常是指估計量的期望等于真實參數值。但在這里，我們討論的是逆概率加權調整項的期望為零，這和無偏性有什么關系呢？

讓我試著理清這個邏輯。

首先，我們有一個估計量 $\hat{\theta }$，如果它是無偏的，那么：

$$E\left\{\hat{\theta }\right\}=\theta$$

在這個具體的情境中，我們的目標是通過逆概率加權調整目標函數來得到一個無偏的估計量。具體來說，我們使用了加權后的目標函數：

$$\sum _{i=1}^n\frac{r_i}{{\pi }_i}M$$

這里的 $\frac{r_i}{{\pi }_i}$ 是逆概率加權調整項。我們已經證明了：

$$E\left\{\frac{r_i}{{\pi }_i}?1|{\mathbf{X}}_i\right\}=0$$

也就是說，$\frac{r_i}{{\pi }_i}$ 的期望值在給定 ${\mathbf{X}}_i$ 的情況下是 1。

那么，這如何保證我們的估計量是無偏的呢？

讓我們考慮一下估計量的期望。假設我們的估計量是：

$${\hat{\beta }}_h=\arg \underset{\beta }{\min }\sum _{i=1}^n\frac{r_i}{{\pi }_i}M$$

為了證明 ${\hat{\beta }}_h$ 是無偏的，我們需要證明：

$$E\left\{{\hat{\beta }}_h\right\}=\beta$$

直接計算這個期望可能比較復雜，但我們可以從目標函數的角度來考慮。如果調整項 $\frac{r_i}{{\pi }_i}$ 的期望為 1，那么在期望意義上，加權后的目標函數與未加權的目標函數是一致的：

$$E\left\{\sum _{i=1}^n\frac{r_i}{{\pi }_i}M\right\}=\sum _{i=1}^{n}E\left\{\frac{r_i}{{\pi }_i}\right\}M=\sum _{i=1}^{n}M$$

這表明，逆概率加權調整項在期望上沒有引入額外的偏差，因此最小化加權目標函數應該能夠得到與最小化真實目標函數相同的估計量，從而保證估計量的無偏性。

換句話說，雖然我們是在處理缺失數據，通過逆概率加權調整，我們確保了在期望上，估計量的行為與沒有缺失數據時是一致的。因此，即使數據有缺失，估計量的期望仍然等于真實參數值，從而保證了無偏性。

總結一下：

• 逆概率加權調整項的期望為 1：這確保了加權后的目標函數在期望上與未加權的目標函數一致。

• 無偏性：因為加權目標函數的期望沒有引入額外的偏差，估計量在期望上等于真實參數值。

$$\boxed{\text{逆概率加權調整項的期望為1，確保了加權目標函數在期望上與真實目標函數一致，從而保證了估計量的無偏性。}}$$

這里的${\pi }_i$是什么意思？是指的第$i$個樣本的概率嗎, 如何獲得呢？

讓我來解釋一下 ${\pi }_i$ 的含義。

在前面的討論中，${\pi }_i$ 被定義為 $r_i$ 為 1 的概率，即 $Y_i$ 被觀測到的概率。具體來說：

$${\pi }_i=\pi ({\mathbf{X}}_i)=P(r_i=1\mid {\mathbf{X}}_i)$$

因此，${\pi }_i$ 表示第 $i$ 個樣本的 $Y_i$ 被觀測到的條件概率，這個概率依賴于第 $i$ 個樣本的協變量 ${\mathbf{X}}_i$。

在隨機缺失（MAR）的假設下，缺失機制僅依賴于已觀測的數據 ${\mathbf{X}}_i$，而不依賴于未觀測的 $Y_i$。這使得 ${\pi }_i$ 可以基于 ${\mathbf{X}}_i$ 來建模和估計，從而允許我們使用逆概率加權等方法來調整缺失數據的影響。

總結一下，${\pi }_i$ 是第 $i$ 個樣本的 $Y_i$ 被觀測到的概率，具體為：

$$\boxed{{\pi }_i=P(r_i=1\mid {\mathbf{X}}_i)}$$