面試常問系列(一)-神經網絡參數初始化-之自注意力機制為什么除以根號d而不是2*根號d或者3*根號d

首先先羅列幾個參考文章，大家之后可以去看看，加深理解：

好，步入正題，我們假定各位讀者看過上面👆幾篇文章，已經了解了，為什么自注意力機制中要使用 $\sqrt{d}$ ?進行縮放，然后我們進一步進行探究，為什么不是 $2\sqrt{d}$ ?。

1.點擊沒有縮放的時候，標準差的范圍

參考：正態分布_百度百科

2.點擊縮放 $\sqrt{d}$ 的時候，標準差的范圍從 $\sqrt{d}$ ?到 1

3.點擊縮放2 $\sqrt{d}$ 的時候，標準差的范圍從 $\sqrt{d}$ ?到 0.5

通過上述的不同縮放比例，大家應該可以比較清晰的發現，以一個標準差(68.26%)為例，隨著縮放比例加大，變化范圍減小，點擊值被過度壓縮，導致相對趨于均勻，從而無法很好的捕捉不同特征之間的差異，趨于大家都一樣的感覺，區分度被縮小。大家感興趣的可以實操看一下，softmax在不同縮放比例下的分布情況。

若除以2 $\sqrt{d}$ ，Softmax輸入的方差過小，導致梯度值普遍偏低，模型訓練效率顯著下降。例如，在機器翻譯任務中，使用2 $\sqrt{d}$ ?的BLEU分數可能下降2-3個點。

????????在WMT14英德翻譯任務中，使用 $\sqrt{d}$ 的Transformer模型在5萬步迭代后達到收斂，而使用2 $\sqrt{d}$ 的模型需8萬步迭代，且最終BLEU分數低1.5個點。

通過模擬高維向量（d=1024）的點積計算，發現：????????

? ? ? ? ? ? ? ? a. $\sqrt{d}$ 縮放后，Softmax輸入的最大值約為5，最小值約為-5，梯度值集中在[0.1,0.5]；

????????? ? ? ? b. 2 $\sqrt{d}$ 縮放后，Softmax輸入的最大值約為2.5，最小值約為-2.5，梯度值集中在[0.01,0.1]，導致訓練緩慢。

???????泛化能力分析
- 在GLUE基準測試中， $\sqrt{d}$ ?縮放的模型在MNLI、QQP等任務上的準確率比2 $\sqrt{d}$ 模型高1-2個百分點，表明其泛化能力更強。

https://zhuanlan.zhihu.com/p/32150751004

本文來自互聯網用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。
如若轉載，請注明出處：http://www.pswp.cn/pingmian/79717.shtml
繁體地址，請注明出處：http://hk.pswp.cn/pingmian/79717.shtml
英文地址，請注明出處：http://en.pswp.cn/pingmian/79717.shtml

如若內容造成侵權/違法違規/事實不符，請聯系多彩編程網進行投訴反饋email:809451989@qq.com，一經查實，立即刪除！