第3周機器學習課堂記錄

1.學習問題的分類

2.泛化versus過度擬合

背景引入：多項式曲線擬合
目標函數： $y(X,W) = W^TX$
損失函數：最小平方和 $\tilde{E}(\mathbf{w}) = \frac{1}{2} \sum_{i=1}^{N} \left\{ y(x_i, \mathbf{w}) - t_i \right\}^2$

泛化：正確預測不同于用于訓練的數據的新觀察的能力
過擬合：目標函數的模型y過度擬合訓練數據，如果存在一個可選的模型y‘滿足 $error_D(y) < error_D(y')$ ，
但是
$error(y) > error(y')$
其中， $error_D(y)$ 是訓練數據上的誤差，而 $error$ 是整個數據分布上的誤差
欠擬合

3.用于模型比較的測試集

測試集：一個獨立的數據集，可以獲得泛化性能對M的依賴的一些定量的領悟。
root-mean-square（RMS） error 均方根誤差
- $E_{RMS} = \sqrt{2E(w)/N}$
- 除以N使得我們能夠在平等的基礎上比較不同大小的數據集
- 開放確保 $E_{RMS}$ 與目標變量t具有同樣的尺度和量綱

4.Regularization正則化

一種常用于控制過擬合現象的技術
給誤差函數添加一個懲罰項，以阻止系數達到大的值
- $\tilde{E}(\mathbf{w}) = \frac{1}{2} \sum_{i=1}^{N} \left\{ y(x_i, \mathbf{w}) - t_i \right\}^2 + \frac{\lambda}{2} \left\| \mathbf{w} \right\|^2$
- 其中 $\left\| \mathbf{w} \right\|^2 \equiv \mathbf{w}^\mathrm{T} \mathbf{w} = w_0^2 + w_1^2 + \dots + w_M^2$
- 并且系數λ控制正則化項與平方和誤差項相比的相對重要性。

5.驗證集

達成模型復雜度的適合的值的一種簡單方法，通過把可用的數據劃分成：

訓練集：確定模型參數w
測試集：評價模型泛化性質
驗證集：調節模型超參M
$y(X,W) = w_0 + w_1x + ... + w_Mx^M$

6.Gaussian Distribution 高斯分布

單個實值變量x的情形，高斯分布定義為

$\mathcal{N}(x|\mu,\sigma^2) = \frac{1}{(2\pi\sigma^2)^{1/2}} \exp\left\{ -\frac{1}{2\sigma^2}(x - \mu)^2 \right\}$

式中? $\mu$ ?是均值（mean）， $\sigma^2$ ?是方差(variance)，方差的平方根? $\sigma$ 叫做標準誤（standard deviation），方差的倒數? $\beta(\beta=1/\sigma^2)$ ?叫做精度（precision）。

7.Gaussian Parameter Estimation

數據集 $\mathcal{X} = (x_1, \dots, x_N)^{\mathrm{T}}$ ，表示標量x的N個觀察。
數據獨立地從同一個高斯分布采樣得到，均值和方差未知。
利用數據集確定高斯分布的參數。
由于數據集獨立同分布，因此，給定μ和方差σ2，數據集的概率(似然)
- $p(\mathcal{X}|\mu, \sigma^2) = \prod_{i=1}^{N} \mathcal{N}(x_i|\mu, \sigma^2)$

8.Maximum(Log) Likelihood 最大似然估計

對數似然函數
- $\ln p(\mathcal{X}|\mu, \sigma^2) = -\frac{1}{2\sigma^2} \sum_{i=1}^{N} (x_i - \mu)^2 - \frac{N}{2} \ln \sigma^2 - \frac{N}{2} \ln 2\pi$
最大似然解
- 樣本均值?? $\mu_{\text{ML}} = \frac{1}{N} \sum_{i=1}^{N} x_i$
- 樣本方差? $\sigma_{\text{ML}}^2 = \frac{1}{N} \sum_{i=1}^{N} (x_i - \mu_{\text{ML}})^2$

9.Limitations of the Maximum Likelihood Approach

系統地低估分布的方差
- $E[\mu_{\text{ML}}] = \mu$
- $E[\sigma_{\text{ML}}^2] = \frac{N - 1}{N} \sigma^2$ ? （有估計偏差）
和過擬合有密切關系

本文來自互聯網用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。
如若轉載，請注明出處：http://www.pswp.cn/web/96269.shtml
繁體地址，請注明出處：http://hk.pswp.cn/web/96269.shtml
英文地址，請注明出處：http://en.pswp.cn/web/96269.shtml

如若內容造成侵權/違法違規/事實不符，請聯系多彩編程網進行投訴反饋email:809451989@qq.com，一經查實，立即刪除！