超參數優化（Hyperparameter Optimization）

1. 簡介

在機器學習和深度學習中，超參數（Hyperparameters） 是在訓練之前需要設定的參數，例如學習率（learning rate）、批量大小（batch size）、神經網絡的層數等。與訓練過程中自動學習的模型參數（如權重和偏置）不同，超參數的選擇對模型的最終性能至關重要。

超參數優化（Hyperparameter Optimization, HPO） 的目標是自動搜索最優的超參數組合，使模型在驗證集或測試集上獲得最佳的性能。合理的超參數選擇可以有效提升模型的泛化能力，避免欠擬合或過擬合。

2. 原理

超參數優化涉及三個關鍵方面：

• 搜索空間（Search Space）：定義所有可能的超參數值范圍，例如學習率在[0.001, 0.1] 之間變化。
• 搜索策略&#x