機器學習之路：python k近鄰回歸 預測波士頓房價

?

python3 學習機器學習api

使用兩種k近鄰回歸模型 分別是 平均k近鄰回歸 和 距離加權k近鄰回歸 進行預測

git:?https://github.com/linyi0604/MachineLearning

代碼：

from sklearn.datasets import load_boston
from sklearn.cross_validation import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsRegressor
from sklearn.metrics import r2_score, mean_squared_error, mean_absolute_error
import numpy as np

# 1 準備數據
# 讀取波士頓地區房價信息
boston = load_boston()
# 查看數據描述
# print(boston.DESCR)   # 共506條波士頓地區房價信息，每條13項數值特征描述和目標房價
# 查看數據的差異情況
# print("最大房價：", np.max(boston.target))   # 50
# print("最小房價：",np.min(boston.target))    # 5
# print("平均房價：", np.mean(boston.target))   # 22.532806324110677

x = boston.data
y = boston.target

# 2 分割訓練數據和測試數據
# 隨機采樣25%作為測試 75%作為訓練
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25, random_state=33)


# 3 訓練數據和測試數據進行標準化處理
ss_x = StandardScaler()
x_train = ss_x.fit_transform(x_train)
x_test = ss_x.transform(x_test)

ss_y = StandardScaler()
y_train = ss_y.fit_transform(y_train.reshape(-1, 1))
y_test = ss_y.transform(y_test.reshape(-1, 1))

# 4 兩種k近鄰回歸行學習和預測
# 初始化k近鄰回歸模型 使用平均回歸進行預測
uni_knr = KNeighborsRegressor(weights="uniform")
# 訓練
uni_knr.fit(x_train, y_train)
# 預測 保存預測結果
uni_knr_y_predict = uni_knr.predict(x_test)

# 多初始化k近鄰回歸模型 使用距離加權回歸
dis_knr = KNeighborsRegressor(weights="distance")
# 訓練
dis_knr.fit(x_train, y_train)
# 預測 保存預測結果
dis_knr_y_predict = dis_knr.predict(x_test)

# 5 模型評估
# 平均k近鄰回歸 模型評估
print("平均k近鄰回歸的默認評估值為：", uni_knr.score(x_test, y_test))
print("平均k近鄰回歸的R_squared值為：", r2_score(y_test, uni_knr_y_predict))
print("平均k近鄰回歸的均方誤差為:", mean_squared_error(ss_y.inverse_transform(y_test),
                                              ss_y.inverse_transform(uni_knr_y_predict)))
print("平均k近鄰回歸 的平均絕對誤差為:", mean_absolute_error(ss_y.inverse_transform(y_test),
                                                 ss_y.inverse_transform(uni_knr_y_predict)))
# 距離加權k近鄰回歸 模型評估
print("距離加權k近鄰回歸的默認評估值為：", dis_knr.score(x_test, y_test))
print("距離加權k近鄰回歸的R_squared值為：", r2_score(y_test, dis_knr_y_predict))
print("距離加權k近鄰回歸的均方誤差為:", mean_squared_error(ss_y.inverse_transform(y_test),
                                           ss_y.inverse_transform(dis_knr_y_predict)))
print("距離加權k近鄰回歸的平均絕對誤差為:", mean_absolute_error(ss_y.inverse_transform(y_test),
                                              ss_y.inverse_transform(dis_knr_y_predict)))

'''
平均k近鄰回歸的默認評估值為： 0.6903454564606561
平均k近鄰回歸的R_squared值為： 0.6903454564606561
平均k近鄰回歸的均方誤差為: 24.01101417322835
平均k近鄰回歸 的平均絕對誤差為: 2.9680314960629928
距離加權k近鄰回歸的默認評估值為： 0.7197589970156353
距離加權k近鄰回歸的R_squared值為： 0.7197589970156353
距離加權k近鄰回歸的均方誤差為: 21.730250160926044
距離加權k近鄰回歸的平均絕對誤差為: 2.8050568785108005
'''

?