線性回歸sklearn 接口和代碼

官網api：https://scikit-learn.org/stable/modules/linear_model.html#ordinary-least-squares

LinearRegression

class sklearn.linear_model.LinearRegression(fit_intercept=True, normalize=False, copy_X=True, n_jobs=1)參數說明：fit_intercept：bool，選擇是否需要計算截距，默認為True，如果中心化了的數據可以選擇falsenormalize：bool，選擇是否需要標準化（在回歸之前，對X減去平均值再除以二范數），默認為false，如果fit_intercept被設置為False時，該參數將忽略。在這里還是建議將標準化的工作放在訓練模型之前。通過設置sklearn.preprocessing.StandardScaler來實現，而在此處設置為falsecopy_x:bool量，選擇是否復制X數據，默認True,如果不復制數據，數據在運行過程中修改，不會覆蓋原始數據,如果否，可能會因為中心化把X數據覆蓋n_job:int量，選擇幾核用于計算，默認1，-1表示全速運行# 其實這里面的參數基本都不怎么需要涉及，往往默認參數就夠用。可用屬性：coef_:訓練后的輸入端模型系數，如果label有兩個，即y值有兩列。那么是一個2D的arrayintercept_: 截距

可用的methods

fit

fit(X,y,sample_weight=None):?
參數：X: array, 稀疏矩陣 [n_samples,n_features]?y: array [n_samples, n_targets]?sample_weight: 權重，形狀為[n_samples]的numpy數組?---------在版本0.17后添加了sample_weight

get_params(deep=True)

?返回對regressor 的設置值

predict(X)

?預測 基于 R^2值

score

評估

案例一：自己實現線性回歸，用最小二乘

# -*- coding:utf-8 -*-from sklearn.model_selection import train_test_split # 數據劃分的類
import numpy as np
import matplotlib as mpl
import matplotlib.pyplot as plt
import pandas as pd# 設置字符集，防止中文亂碼
mpl.rcParams['font.sans-serif']=[u'simHei']
mpl.rcParams['axes.unicode_minus']=False# 加載數據
# 日期、時間、有功功率、無功功率、電壓、電流、廚房用電功率、洗衣服用電功率、熱水器用電功率
path1='/datas/household_power_consumption_1000.txt'
df = pd.read_csv(path1, sep=';', low_memory=False)  # 沒有混合類型的時候可以通過low_memory=F調用更多內存，加快效率）
print(df)## 功率和電流之間的關系
X = df.iloc[:,2:4]
Y = df.iloc[:,5]## 數據分割
X2_train,X2_test,Y2_train,Y2_test = train_test_split(X, Y, test_size=0.2, random_state=0)# 將X和Y轉換為矩陣的形式
X = np.mat(X2_train)
Y = np.mat(Y2_train).reshape(-1,1)# 計算θ
theta = (X.T * X).I * X.T * Y
print(theta)# 對測試集合進行測試
y_hat = np.mat(X2_test) * theta# 畫圖
t=np.arange(len(X2_test))
plt.figure(facecolor='w')
plt.plot(t, Y2_test, 'r-', linewidth=2, label=u'真實值')
plt.plot(t, y_hat, 'g-', linewidth=2, label=u'預測值')
plt.legend(loc = 'lower right')
plt.title(u"線性回歸預測功率與電流之間的關系", fontsize=20)
plt.grid(b=True)
plt.show()

案例二：家庭用電預測：線性回歸算法(時間與功率&功率與電流之間的關系)

from sklearn.model_selection import train_test_split  # 數據劃分的類
from sklearn.linear_model import LinearRegression  # 線性回歸的類
from sklearn.preprocessing import StandardScaler  # 數據標準化import numpy as np
import matplotlib as mpl
import matplotlib.pyplot as plt
import pandas as pd# 設置字符集，防止中文亂碼
mpl.rcParams['font.sans-serif']=[u'simHei']
mpl.rcParams['axes.unicode_minus']=False# 加載數據
# 日期、時間、有功功率、無功功率、電壓、電流、廚房用電功率、洗衣服用電功率、熱水器用電功率
path1='datas/household_power_consumption_1000.txt'
df = pd.read_csv(path1, sep=';', low_memory=False)  # 沒有混合類型的時候可以通過low_memory=F調用更多內存，加快效率）
print(df.head())  # 獲取前五行數據
print(df.info())# 異常數據處理(異常數據過濾)
new_df = df.replace('?', np.nan)  # 替換非法字符為np.nan
datas = new_df.dropna(axis=0, how = 'any')  # 只要有一個數據為空，就進行行刪除操作
print(datas.describe().T)  # 觀察數據的多種統計指標(只能看數值型的)
print(df.info())  # 查看格式信息# 創建一個時間函數格式化字符串
def date_format(dt):# dt顯示是一個series/tuple；dt[0]是date，dt[1]是timeimport timet = time.strptime(' '.join(dt), '%d/%m/%Y %H:%M:%S')return (t.tm_year, t.tm_mon, t.tm_mday, t.tm_hour, t.tm_min, t.tm_sec)# 需求：構建時間和功率之間的映射關系，可以認為：特征屬性為時間；目標屬性為功率值。
# 獲取x和y變量, 并將時間轉換為數值型連續變量
X = datas.iloc[:, 0:2]
X = X.apply(lambda x: pd.Series(date_format(x)), axis=1)
Y = datas['Global_active_power']print(X.head(2))# 對數據集進行測試集合訓練集劃分
# X：特征矩陣(類型一般是DataFrame)
# Y：特征對應的Label標簽(類型一般是Series)
# test_size: 對X/Y進行劃分的時候，測試集合的數據占比, 是一個(0,1)之間的float類型的值
# random_state: 數據分割是基于隨機器進行分割的，該參數給定隨機數種子；給一個值(int類型)的作用就是保證每次分割所產生的數數據集是完全相同的
X_train,X_test,Y_train,Y_test = train_test_split(X, Y, test_size=0.2, random_state=0)print(X_train.shape)
print(X_test.shape)
print(Y_train.shape)# 查看訓練集上的數據信息(X)
print(X_train.describe())# 數據標準化
# StandardScaler：將數據轉換為標準差為1的數據集(有一個數據的映射)
# scikit-learn中：如果一個API名字有fit，那么就有模型訓練的含義，沒法返回值
# scikit-learn中：如果一個API名字中有transform， 那么就表示對數據具有轉換的含義操作
# scikit-learn中：如果一個API名字中有predict，那么就表示進行數據預測，會有一個預測結果輸出
# scikit-learn中：如果一個API名字中既有fit又有transform的情況下，那就是兩者的結合(先做fit，再做transform)
ss = StandardScaler()  # 模型對象創建
X_train = ss.fit_transform(X_train)  # 訓練模型并轉換訓練集
X_test = ss.transform(X_test)  # 直接使用在模型構建數據上進行一個數據標準化操作 (測試集)print(pd.DataFrame(X_train).describe())# 模型訓練
lr = LinearRegression(fit_intercept=True)  # 模型對象構建
lr.fit(X_train, Y_train)  # 訓練模型# 模型預測
y_predict = lr.predict(X_test)  # 預測結果print("訓練集上R2:", lr.score(X_train, Y_train))
print("測試集上R2:", lr.score(X_test, Y_test))
mse = np.average((y_predict-Y_test)**2)  # 開根號
rmse = np.sqrt(mse)
print("rmse:", rmse)# 輸出模型訓練得到的相關參數
print("模型的系數(θ):", end="")
print(lr.coef_)
print("模型的截距:", end='')
print(lr.intercept_)# 模型保存/持久化
# 在機器學習部署的時候，實際上其中一種方式就是將模型進行輸出；另外一種方式就是直接將預測結果輸出
# 模型輸出一般是將模型輸出到磁盤文件
from sklearn.externals import joblib# 保存模型要求給定的文件所在的文件夾比較存在
joblib.dump(ss, "result/data_ss.model")  # 將標準化模型保存
joblib.dump(lr, "result/data_lr.model")  # 將模型保存# 加載模型
ss3 = joblib.load("result/data_ss.model")  # 加載模型
lr3 = joblib.load("result/data_lr.model")  # 加載模型# 使用加載的模型進行預測
data1 = [[2006, 12, 17, 12, 25, 0]]
data1 = ss3.transform(data1)
print(data1)
lr3.predict(data1)# 預測值和實際值畫圖比較
t=np.arange(len(X_test))
plt.figure(facecolor='w')  # 建一個畫布，facecolor是背景色
plt.plot(t, Y_test, 'r-', linewidth=2, label='真實值')
plt.plot(t, y_predict, 'g-', linewidth=2, label='預測值')
plt.legend(loc = 'upper left')  # 顯示圖例，設置圖例的位置
plt.title("線性回歸預測時間和功率之間的關系", fontsize=20)
plt.grid(b=True)  # 加網格
plt.show()# 功率和電流之間的關系
X = datas.iloc[:,2:4]
Y2 = datas.iloc[:,5]# 數據分割
X2_train,X2_test,Y2_train,Y2_test = train_test_split(X, Y2, test_size=0.2, random_state=0)# 數據歸一化
scaler2 = StandardScaler()
X2_train = scaler2.fit_transform(X2_train)  # 訓練并轉換
X2_test = scaler2.transform(X2_test)  # 直接使用在模型構建數據上進行一個數據標準化操作# 模型訓練
lr2 = LinearRegression()
lr2.fit(X2_train, Y2_train)# 結果預測
Y2_predict = lr2.predict(X2_test)# 模型評估
print("電流預測準確率: ", lr2.score(X2_test, Y2_test))
print("電流參數:", lr2.coef_)# 繪制圖表
t=np.arange(len(X2_test))
plt.figure(facecolor='w')
plt.plot(t, Y2_test, 'r-', linewidth=2, label=u'真實值')
plt.plot(t, Y2_predict, 'g-', linewidth=2, label=u'預測值')
plt.legend(loc = 'lower right')
plt.title(u"線性回歸預測功率與電流之間的關系", fontsize=20)
plt.grid(b=True)
plt.show()

案例三：家庭用電預測：線性回歸算法(時間與電壓的多項式關系)

from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import StandardScaler
from sklearn.preprocessing import PolynomialFeatures
from sklearn.pipeline import Pipelineimport numpy as np
import matplotlib as mpl
import matplotlib.pyplot as plt
import pandas as pd# 創建一個時間字符串格式化字符串
def date_format(dt):import timet = time.strptime(' '.join(dt), '%d/%m/%Y %H:%M:%S')return (t.tm_year, t.tm_mon, t.tm_mday, t.tm_hour, t.tm_min, t.tm_sec)# 設置字符集，防止中文亂碼
mpl.rcParams['font.sans-serif'] = [u'simHei']
mpl.rcParams['axes.unicode_minus'] = False# 加載數據
path = 'datas\household_power_consumption_200.txt'  ## 200行數據
path = 'datas\household_power_consumption_1000.txt'  ## 1000行數據
df = pd.read_csv(path, sep=';', low_memory=False)# 日期、時間、有功功率、無功功率、電壓、電流、廚房用電功率、洗衣服用電功率、熱水器用電功率
names2 = df.columns
names = ['Date', 'Time', 'Global_active_power', 'Global_reactive_power', 'Voltage', 'Global_intensity','Sub_metering_1', 'Sub_metering_2', 'Sub_metering_3']# 異常數據處理(異常數據過濾)
new_df = df.replace('?', np.nan)
datas = new_df.dropna(axis=0, how='any')  # 只要有數據為空，就進行刪除操作# 時間和電壓之間的關系(Linear)
# 獲取x和y變量, 并將時間轉換為數值型連續變量
X = datas[names[0:2]]
X = X.apply(lambda x: pd.Series(date_format(x)), axis=1)
Y = datas[names[4]].values# 對數據集進行測試集合訓練集劃分
X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size=0.2, random_state=0)# 數據標準化
ss = StandardScaler()
X_train = ss.fit_transform(X_train)  # 訓練并轉換
X_test = ss.transform(X_test)  # 直接使用在模型構建數據上進行一個數據標準化操作# 模型訓練
lr = LinearRegression()
lr.fit(X_train, Y_train)  # 訓練模型# 模型預測
y_predict = lr.predict(X_test)# 模型效果
print("準確率:", lr.score(X_test, Y_test))# 預測值和實際值畫圖比較
t = np.arange(len(X_test))
plt.figure(facecolor='w')
plt.plot(t, Y_test, 'r-', linewidth=2, label=u'真實值')
plt.plot(t, y_predict, 'g-', linewidth=2, label=u'預測值')
plt.legend(loc='lower right')
plt.title(u"線性回歸預測時間和功率之間的關系", fontsize=20)
plt.grid(b=True)  # 網格
plt.show()# 時間和電壓之間的關系(Linear-多項式)
# Pipeline：管道的意思，講多個操作合并成為一個操作
# Pipleline總可以給定多個不同的操作，給定每個不同操作的名稱即可，執行的時候，按照從前到后的順序執行
# Pipleline對象在執行的過程中，當調用某個方法的時候，會調用對應過程的對應對象的對應方法
# eg：在下面這個案例中，調用了fit方法，
# 那么對數據調用第一步操作：PolynomialFeatures的fit_transform方法對數據進行轉換并構建模型
# 然后對轉換之后的數據調用第二步操作: LinearRegression的fit方法構建模型
# eg: 在下面這個案例中，調用了predict方法，
# 那么對數據調用第一步操作：PolynomialFeatures的transform方法對數據進行轉換
# 然后對轉換之后的數據調用第二步操作: LinearRegression的predict方法進行預測
models = [Pipeline([('Poly', PolynomialFeatures()),  # 給定進行多項式擴展操作， 第一個操作：多項式擴展('Linear', LinearRegression(fit_intercept=False))  # 第二個操作，線性回歸])
]
model = models[0]
# 獲取x和y變量, 并將時間轉換為數值型連續變量
X = datas[names[0:2]]
X = X.apply(lambda x: pd.Series(date_format(x)), axis=1)
Y = datas[names[4]]# 對數據集進行測試集合訓練集劃分
X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size=0.2, random_state=0)# 數據標準化
ss = StandardScaler()
X_train = ss.fit_transform(X_train)  # 訓練并轉換
X_test = ss.transform(X_test)  # 直接使用在模型構建數據上進行一個數據標準化操作# 模型訓練
t = np.arange(len(X_test))
N = 5
d_pool = np.arange(1, N, 1)  # 階
m = d_pool.size
clrs = []  # 顏色
for c in np.linspace(16711680, 255, m):clrs.append('#%06x' % int(c))
line_width = 3plt.figure(figsize=(12, 6), facecolor='w')  # 創建一個繪圖窗口，設置大小，設置顏色
for i, d in enumerate(d_pool):plt.subplot(N - 1, 1, i + 1)plt.plot(t, Y_test, 'r-', label=u'真實值', ms=10, zorder=N)# 設置管道對象中的參數值，Poly是在管道對象中定義的操作名稱， 后面跟參數名稱；中間是兩個下劃線model.set_params(Poly__degree=d)  # 設置多項式的階乘model.fit(X_train, Y_train)  # 模型訓練# Linear是管道中定義的操作名稱# 獲取線性回歸算法模型對象lin = model.get_params()['Linear']output = u'%d階，系數為：' % d# 判斷lin對象中是否有對應的屬性if hasattr(lin, 'alpha_'):idx = output.find(u'系數')output = output[:idx] + (u'alpha=%.6f, ' % lin.alpha_) + output[idx:]if hasattr(lin, 'l1_ratio_'):idx = output.find(u'系數')output = output[:idx] + (u'l1_ratio=%.6f, ' % lin.l1_ratio_) + output[idx:]print(output, lin.coef_.ravel())# 模型結果預測y_hat = model.predict(X_test)# 計算評估值s = model.score(X_test, Y_test)# 畫圖z = N - 1 if (d == 2) else 0label = u'%d階, 準確率=%.3f' % (d, s)plt.plot(t, y_hat, color=clrs[i], lw=line_width, alpha=0.75, label=label, zorder=z)plt.legend(loc='upper left')plt.grid(True)plt.ylabel(u'%d階結果' % d, fontsize=12)# 預測值和實際值畫圖比較
plt.suptitle(u"線性回歸預測時間和功率之間的多項式關系", fontsize=20)
plt.grid(b=True)
plt.show()

?