回歸分析方法是利用數理統計方法分析數據,建立自變量和因變量間的回歸模型,用于預測因變量變化的分析方法。其中比較經典的是HoerI和Kennard提出的嶺回歸算法。嶺回歸算法是在最小二乘法的基礎上引|入正則項,使回歸模型具有較好泛化能力和穩定性,但嶺回歸算法并不能處理自變量間非線性相關的情況。
嶺回歸,又稱脊回歸,是對不適定問題進行回歸分析時經常使用的一種正則化方法 ,是對最小二乘回歸的一種補充,嶺回歸通過損失無偏性來換取高的數值穩定性。從而得到較高的計算精度。[1]
嶺回歸是一種經過改良的最小二乘法.通過在代價函數中添加正則化項,而放棄無偏性。雖然損失了一定量的原始信息特征.但較易獲得更優的擬合效果,嶺回歸算法比較適用于變量間存在一定共線性的問題[2]。?
嶺回歸,又被稱為吉洪諾夫正則化(Tikhonov Regularizat ion)。回歸問題中常用的方法為最小二乘法,而當自變量存在多重共線性關系時,均方誤差將變得很大,導致最小二乘法無法使用,減少均方誤差的方法就是用嶺回歸估計替代最小二乘估計。嶺回歸是一種專用 于共線性數據分析的有偏估計回歸方法,實質上是一種改良的最小二乘估計法,通過放棄最小=乘法的無偏性,以損失部分信息、降低精度為代價獲得回歸系數更為符合實際、更可靠的回歸方法,對病態數據的擬合要強于最小二乘法。在回歸分析里,輸入是任意離散或連續的、單一或多個的變 量。而輸出是連續的數值。例如,將某公司某一月財報數據抽取出若干特征,如營收總額、支出總額以及是否有負面報道,利用回歸分析預測下個月該公司股票價格。回歸分析在長期大量的實際應用中出現了特殊情況:建立回歸方程后,因為自變量(回歸變量)存在高度相關性,使得回歸方程變得不穩定:有些自變量對因變量(指標)影響的顯著性被隱藏;某些回歸系數的符號與實際意義不符合等。出現這些問題的原因就在于自變量之間的共線性,而嶺回歸是處理這種自變量多重共線性的重要方法[3]。
?
[1]白青華,殷雪蓮,王靜等.基于嶺回歸的河西走廊中部日光溫室低溫預測模型[J].農學學報,2023,13(05):96-100.
[2]方鑫,劉通,程亞萍等.基于GA-嶺回歸分析的機車車輪踏面磨耗量預測算法研究[J].機車電傳動,2023(06):71-78.DOI:10.13890/j.issn.1000-128X.2023.06.009.
[3]程平,郭奕君,辜榕容.基于嶺回歸機器學習算法的項目成本預測研究——以A風景園林規劃研究院規劃設計項目為例[J].財會通訊,2021(12):101-105.DOI:10.16144/j.cnki.issn1002-8072.2021.12.022.