NAS是一種旨在自動設計神經網絡結構的技術。傳統上，神經網絡的架構設計依賴于專家的經驗和大量的試錯過程，而NAS通過算法自動搜索網絡架構，以發現最適合特定任務的神經網絡設計。

NAS的主要組成部分包括：

1. 搜索空間：定義了所有可能的網絡架構集合，包括可能的網絡層、連接方式、激活函數、卷積核大小、池化層、跳躍連接等。NAS的任務是從這個搜索空間中找到最佳的架構。

2. 搜索策略：決定如何在搜索空間中探索不同的網絡架構。常見的搜索策略包括強化學習、進化算法和貝葉斯優化等。例如，強化學習方法通過控制器模型生成候選網絡架構，訓練這些架構并用其性能來更新控制器。隨機搜索，盡管方法簡單，但在某些場景下也能獲得不錯的結果，并且有時可作為基線比較。進化算法（Evolutionary Algorithms）通過對一組初始架構進行“突變”和“選擇”，不斷淘汰劣質架構并保留優秀結構，模擬自然選擇的過程。

3. 評估模型：對每個候選網絡架構進行訓練并評估其性能。評估的方式可以是完整訓練或者使用代理模型和快速訓練方法來估計其性能。

NAS的工作流程通常包括以下步驟：

1. 定義搜索空間：確定所有可能的網絡架構組成部分，如卷積層、全連接層等。

2. 應用搜索策略：使用特定的算法在搜索空間中探索不同的網絡架構。

3. 評估候選架構：訓練并評估每個候選網絡的性能。

4. 選擇最優架構：根據評估結果，選擇在特定任務和數據集上表現最優的網絡結構。

NAS的應用場景包括：

• 復雜任務：如圖像分類、目標檢測、自然語言處理等復雜任務，手工設計網絡架構的難度較大，而NAS可以自動探索最優設計。

• 硬件限制：當有特定硬件限制（如移動設備上的推理時間、功耗）時，NAS可以根據這些約束條件找到滿足要求的網絡架構。

• 模型優化：通過NAS，可以優化網絡的結構來提升模型的精度、減少推理時間、降低參數量等。

總之，自動化網絡架構搜索（NAS）通過自動化的方式尋找最優的神經網絡架構，減少了人工調參的時間和精力，并在某些情況下能夠找到比手工設計更優的架構。

---

NAS舉例

強化學習基礎補充
核心概念：

• 智能體（Agent）：決策者（如NAS中的控制器）
• 環境（Environment）：問題域（如網絡結構搜索空間）
• 動作（Action）：選擇網絡層類型、通道數等
• 獎勵（Reward）：模型驗證準確率
• 策略（Policy）：決定動作選擇的規則

---

1. 搜索空間（Search Space）

定義所有可能的網絡結構組合，例如：

• 層類型 （卷積層、全連接層等）
• 連接方式 （跳躍連接、密集連接）
• 超參數 （通道數、核大小）

search_space = {"layers": ["conv3x3", "conv5x5", "maxpool3x3"],  # 層類型選項"channels": [16, 32, 64],  # 每層輸出通道數選項"skip_connections": [True, False]  # 是否使用跳躍連接
}

設計原則：

• 層次化：按階段搜索（如NASNet的單元結構搜索）
• 可擴展性：支持不同硬件約束（如移動端部署需小通道數）

---

2. 搜索策略（Search Strategy）

class Controller(nn.Module):def __init__(self, search_space):super().__init__()self.lstm = nn.LSTMCell(input_size=100, hidden_size=100)  # 使用LSTM記憶歷史選擇self.fc_layer = nn.Linear(100, len(search_space["layers"]))  # 輸出層類型概率self.fc_channel = nn.Linear(100, len(search_space["channels"]))  # 輸出通道數概率def sample_arch(self):arch = []hx, cx = self.lstm.init_hidden()  # 初始化LSTM狀態for _ in range(3):  # 生成3層結構lstm_out, (hx, cx) = self.lstm(torch.zeros(1, 100), (hx, cx))layer_probs = F.softmax(self.fc_layer(lstm_out))  # 層類型概率分布channel_probs = F.softmax(self.fc_channel(lstm_out))  # 通道數概率分布layer = np.random.choice(search_space["layers"], p=layer_probs.detach().numpy())channels = np.random.choice(search_space["channels"], p=channel_probs.detach().numpy())arch.append((layer, channels))return arch

代碼注釋：

• LSTM作用：記憶歷史選擇，避免生成沖突結構（如連續兩個池化層）
• 概率采樣：通過softmax輸出概率分布，實現結構隨機探索

---

3. 性能評估優化
代理評估方法：

def evaluate_arch(arch_config):model = ChildNet(arch_config)# 使用早停策略：僅訓練5個epochoptimizer = torch.optim.SGD(model.parameters(), lr=0.01)for epoch in range(5):outputs = model(inputs)loss = criterion(outputs, labels)optimizer.zero_grad()loss.backward()optimizer.step()# 返回驗證集準確率作為獎勵return val_accuracy

優化技巧：

• 權重共享：多個子模型共享部分權重（如ENAS）
• 低秩近似：用小模型預測大模型性能（OFA）

---

訓練流程

# 初始化控制器和優化器
controller = Controller(search_space)
controller_optimizer = torch.optim.Adam(controller.parameters(), lr=0.001)for episode in range(1000):# 1. 采樣網絡結構arch = controller.sample_arch()  # 動作選擇# 2. 評估性能（獎勵）reward = evaluate_arch(arch)  # 獎勵獲取# 3. 更新控制器（策略梯度）controller_optimizer.zero_grad()# 計算策略梯度損失：log(概率) * 獎勵loss = -torch.log(torch.tensor(reward))  # 負號表示梯度上升loss.backward()controller_optimizer.step()

關鍵點：

• 策略梯度：通過最大化期望獎勵更新控制器參數
• 探索與利用：通過概率采樣平衡新結構探索與已知優秀結構利用