1）回歸（regression）是能為一個或多個自變量與因變量之間關系建模的一類方法。 在自然科學和社會科學領域，回歸經常用來表示輸入和輸出之間的關系。

2）一般回歸是和預測有關，比如預測價格(房屋，股票等)
3）線性回歸的基本元素
首先，假設自變量x和因變量y之間的關系是線性的， 即y可以表示為x中元素的加權和，這里通常允許包含觀測值的一些噪聲； 其次，我們假設任何噪聲都比較正常，如噪聲遵循正態分布。

4）深度學習實踐者很少會去花費大力氣尋找這樣一組參數，使得在訓練集上的損失達到最小。 事實上，更難做到的是找到一組參數，這組參數能夠在我們從未見過的數據上實現較低的損失， 這一挑戰被稱為泛化（generalization）。

5)對于線性回歸，每個輸入都與每個輸出（在本例中只有一個輸出）相連， 我們將這種變換（圖中的輸出層） 稱為全連接層（fully-connected layer）或稱為稠密層（dense layer）

**最小化均方誤差（MSE）等價于對線性模型進行極大似然估計（MLE）**，這句話的意思是：在高斯噪聲的假設下，通過最小化均方誤差（MSE）來優化線性回歸模型參數，和通過極大似然估計（MLE）來優化線性回歸模型參數，這兩種方法是等價的，即它們最終會得到相同的模型參數估計結果。

• 機器學習模型中的關鍵要素是訓練數據、損失函數、優化算法，還有模型本身。

• 矢量化使數學表達上更簡潔，同時運行的更快。

• 最小化目標函數和執行極大似然估計等價。

• 線性回歸模型也是一個簡單的神經網絡。