1.子集搜索與評價

相關特征：對當前學習任務有用的特征
無關特征：對當前學習任務沒用的特征
特征選擇：從給定的特征集合中選擇出相關特征子集的過程

為什么要特征選擇？
1.任務中經常碰到維數災難
2.去除不相關的特征能降低學習的難度

特征選擇很重要，但特征很多，如何根據評價結果獲取下一個候選特征子集？
子集搜索

如何評價候選特征子集的好壞？
子集評價
利用信息增熵方法計算的結果進行評價

2.過濾式選擇

3.包裹式選擇

包裹式特征選擇直接把最終將要使用的學習器的性能作為特征子集的評價標準
優點：結果優于過濾式選擇
缺點：計算開銷大于過濾式選擇

4.嵌入式選擇

將特征選擇過程與學習器訓練過程融為一體，在學習器訓練過程中自動地進行特征選擇

5.稀疏表示與字典學習