1.訓練神經網絡過程中，損失函數在一些時期（Epoch）不再減小, 原因可能是：

1.學習率太低 2.正則參數太大 3.卡在了局部最小值

A1 and 2 B. 2 and 3 C. 1 and 3 D. 都是

2.對于分類任務，我們不是將神經網絡中的隨機權重初始化，而是將所有權重設為零。下列哪項正確？
A.沒有任何問題，神經網絡模型將正常訓練
B.神經網絡模型可以訓練，但所有的神經元最終將識別同樣的事情
C.神經網絡模型不會進行訓練，因為沒有凈梯度變化
D.這些均不會發生

3.開始時有一個停滯期，這是因為神經網絡在進入全局最小值之前陷入局部最小值。為了避免這種情況，下面的哪個策略有效？
A.增加參數的數量，因為網絡不會卡在局部最小值處
B.在開始時把學習率降低10倍，然后使用梯度下降加速算子(momentum)
C.抖動學習速率，即改變幾個時期的學習速率
D.以上均不是

4.假設在訓練時，你遇到這個問題。在幾次迭代后，錯誤突然增加。您確定數據一定有問題。您將數據描繪出來，找到了原始數據有點偏離，這可能是導致出現問題的地方。你將如何應對這個挑戰？
A.歸一化 B. 應用PCA然后歸一化 C.對數據進行對數變換 D.以上這些都不符合
注：b應該是先歸一化再pca

5.下面哪個描述可以最好的描述early stopping?
A在每一個訓練epoch后在測試集上模擬網絡，當歸一化誤差(generalization error)減小時停止訓練
B 一種更快的后向傳播方式，像是"Quickprop"算法
C 在權重值更新時上加一個動量項(momentum term)，使訓練能夠更快地收斂
D 訓練網絡直到誤差函數出現一個局部最小值

6.其他條件不變，以下哪種做法不會引起過擬合問題（）
A.增加訓練集數量 B. 減少神經網絡隱藏節點數
C.刪除稀疏的特征 D. SVM算法使用高斯核函數/RBF代替線性核

7.以下屬于多層前饋神經網絡的是（）
A.線性回歸?B.邏輯回歸 C.SVM D.都不是

8.機器學習中L1正則化和L2正則化的區別是？
A、使用L1可以得到稀疏的權值 B、使用L1可以得到平滑的權值
C、使用L2可以得到稀疏的權值?D、使用L2可以得到平滑的權值

9.哪種方法可以較好地處理RNN中梯度爆炸的問題（）
A Dropout B 梯度裁剪 C. LSTM（梯度消失） D都不行

10.五層神經網絡單個數據測試需要2s，新架構分別在第二層和第四層添加Dropout，則測試時間為
A 大于2s B 小于2s C等于2s D不確定

Dropout只是在訓練的時候丟棄神經元，但測試的時候神經元數量還是一樣，所以時間不變

11.哪種技術不能解決過擬合（）
A dropout B 樣本增強 C 權值衰減 D SGD

12.如果要設計一個有2000個特征，100萬數據的機器學習模型，如何有效的處理這樣大數據訓練（）
A隨機抽樣，在小樣本上訓練B在線機器學習算法C.PCA降維，減少特征數?D. SVM分類器