線性回歸
零.
1.paddle庫的一些API
paddle.rand(shape,dtype = None, name = None)
*隨機生成符合均勻分布的Tensor
paddle.nromal(mean = 0.0, std = 1.0, shape = None, name = None)
*隨機生成符合正態分布的Tensor
*輸入正態分布均值，標準差， 生成結果的形狀
*輸出形狀為shape的Tensor
paddle.randint(low = 0, high = None, shape = [1],dtype = 0, name = none)
*在指定范圍內生成符合均勻分布的Tensor
*輸入范圍的上下限。。。
paddle.linspace(start, stop, num, dtype = None, name = None)
*在指定區間生成均勻間隔的是定個值
*輸入區間，區間數，輸出1-DTensor?
paddle.rann(shape, dtype = None, name = None)
隨機生成符合標準正態分布的Tensor?
paddle.zeros(shape, dtype = None, name = None)
生成指定形狀的全0 Tensor?
?paddle.full(shape, fill_value, dtype=None,name=None)
創建指定形狀元素值均為指定值的Tensor
輸入：生成結果的形狀，元素值? ? 輸出：形狀為shape值全為fill_value的Tensor
?paddle.matmul(x, y, transpose_x=False,transpose_y=False, name=None)
功能：計算兩個Tensor乘積，遵循廣播規則
輸入：兩個Tensor以及相乘前是否轉置
輸出：Tensor，矩陣相乘后的結果
?paddle.mean(x, axis=None, keepdim=False,name=None)
功能：沿axis計算輸入的平均值
輸入：Tensor，計算軸，是否在輸出種保留減少的維度
輸出：Tensor，沿著axis進行平均值計算的結果
paddle.square(x, name=None)
功能：逐元素取平方
輸入：Tensor
輸出：返回取平方后的Tensor?
paddle.subtract(x, y, name=None)
功能：逐元素相減
輸入：輸入2個Tensor
輸出：Tensor，運算后的結果
paddle.eye(num_rows, num_columns=None, dtype=None, name=None)
功能：構建二維Tensor(主對角線元素為1，其他元素為0)
輸入：行數和列數
輸出:Tensor, shape為[num_rows, num_columns]
paddle.inverse(x,name=None)
功能：計算方陣的逆
輸入：輸入Tensor
輸出：輸入方陣的逆???
?2.matplotlib庫學習
一.數據集構建
import paddle
from matplotlib import pyplot as pltdef linear_func(x, w=1.2, b=0.5):return w * x + bdef create_toy_data(func, interval, sample_num, noise=0.0, add_outlier=False, outlier_ratio=0.01):X = paddle.rand(shape=[sample_num]) * (interval[1] - interval[0]) + interval[0]y = func(X)epsilon = paddle.normal(0, noise, shape=[y.shape[0]])y += epsilonif add_outlier:outlier_num = max(1, int(len(y) * outlier_ratio))outlier_idx = paddle.randint(len(y), shape=[outlier_num])y[outlier_idx] = y[outlier_idx] * 5return X.numpy(), y.numpy() # 返回 NumPy 數組# 生成數據
func = linear_func
interval = (-10, 10)
train_num = 100
test_num = 50
noise = 2X_train, y_train = create_toy_data(func, interval, train_num, noise, add_outlier=False)
X_test, y_test = create_toy_data(func, interval, test_num, noise, add_outlier=False)# 生成理論分布數據（轉換為 NumPy）
X_underlying = paddle.linspace(interval[0], interval[1], train_num).numpy()
y_underlying = linear_func(paddle.to_tensor(X_underlying)).numpy() # 確保輸出為 NumPy# 繪圖
plt.figure(figsize=(8, 6))
plt.scatter(X_train, y_train, marker='*', facecolor="none", edgecolor='green', s=50, label="Train Data")
plt.scatter(X_test, y_test, facecolor="none", edgecolor='red', s=50, label="Test Data")
plt.plot(X_underlying, y_underlying, c='#000000', linestyle='--', label="Underlying Distribution")
plt.xlabel("X", fontsize=12)
plt.ylabel("y", fontsize=12)
plt.title("Linear Regression Dataset", fontsize=14)
plt.legend()
plt.grid(True, linestyle=':', alpha=0.5)
plt.savefig('ml-vis.pdf', bbox_inches='tight', dpi=300)
plt.show()結果;
二.模型構建
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? f(x;w,b)=wTx+b
y=Xw+b
import paddle
from nndl.op import Oppaddle.seed(10) #設置隨機種子# 線性算子
class Linear(Op):def __init__(self, input_size):"""輸入：- input_size:模型要處理的數據特征向量長度"""self.input_size = input_size# 模型參數self.params = {}self.params['w'] = paddle.randn(shape=[self.input_size,1],dtype='float32') self.params['b'] = paddle.zeros(shape=[1],dtype='float32')def __call__(self, X):return self.forward(X)# 前向函數def forward(self, X):"""輸入：- X: tensor, shape=[N,D]注意這里的X矩陣是由N個x向量的轉置拼接成的，與原教材行向量表示方式不一致輸出：- y_pred： tensor, shape=[N]"""N,D = X.shapeif self.input_size==0:return paddle.full(shape=[N,1], fill_value=self.params['b'])assert D==self.input_size # 輸入數據維度合法性驗證# 使用paddle.matmul計算兩個tensor的乘積y_pred = paddle.matmul(X,self.params['w'])+self.params['b']return y_pred# 注意這里我們為了和后面章節統一，這里的X矩陣是由N個x向量的轉置拼接成的，與原教材行向量表示方式不一致
input_size = 3
N = 2
X = paddle.randn(shape=[N, input_size],dtype='float32') # 生成2個維度為3的數據
model = Linear(input_size)
y_pred = model(X)
print("y_pred:",y_pred) #輸出結果的個數也是2個三.損失函數
回歸任務是對連續值的預測，希望模型能根據數據的特征輸出一個連續值作為預測值。因此回歸任務中常用的評估指標是均方誤差
import paddledef mean_squared_error(y_true, y_pred):"""輸入：- y_true: tensor，樣本真實標簽- y_pred: tensor, 樣本預測標簽輸出：- error: float，誤差值"""assert y_true.shape[0] == y_pred.shape[0]# paddle.square計算輸入的平方值# paddle.mean沿 axis 計算 x 的平均值，默認axis是None，則對輸入的全部元素計算平均值。error = paddle.mean(paddle.square(y_true - y_pred))return error# 構造一個簡單的樣例進行測試:[N,1], N=2
y_true= paddle.to_tensor([[-0.2],[4.9]],dtype='float32')
y_pred = paddle.to_tensor([[1.3],[2.5]],dtype='float32')error = mean_squared_error(y_true=y_true, y_pred=y_pred).item()
print("error:",error)四.模型優化
經驗風險最小化，利用偏導數為0求最小
def optimizer_lsm(model, X, y, reg_lambda=0):"""輸入：- model: 模型- X: tensor, 特征數據，shape=[N,D]- y: tensor,標簽數據，shape=[N]- reg_lambda: float, 正則化系數，默認為0輸出：- model: 優化好的模型"""N, D = X.shape# 對輸入特征數據所有特征向量求平均x_bar_tran = paddle.mean(X,axis=0).T # 求標簽的均值,shape=[1]y_bar = paddle.mean(y)# paddle.subtract通過廣播的方式實現矩陣減向量x_sub = paddle.subtract(X,x_bar_tran)# 使用paddle.all判斷輸入tensor是否全0if paddle.all(x_sub==0):model.params['b'] = y_barmodel.params['w'] = paddle.zeros(shape=[D])return model# paddle.inverse求方陣的逆tmp = paddle.inverse(paddle.matmul(x_sub.T,x_sub)+reg_lambda*paddle.eye(num_rows = (D)))w = paddle.matmul(paddle.matmul(tmp,x_sub.T),(y-y_bar))b = y_bar-paddle.matmul(x_bar_tran,w)model.params['b'] = bmodel.params['w'] = paddle.squeeze(w,axis=-1)return model五.模型訓練
模型的評價指標和損失函數一致，都為均方誤差。
通過上文實現的線性回歸類來擬合訓練數據，并輸出模型在訓練集上的損失。
input_size = 1
model = Linear(input_size)
model = optimizer_lsm(model,X_train.reshape([-1,1]),y_train.reshape([-1,1]))
print("w_pred:",model.params['w'].item(), "b_pred: ", model.params['b'].item())y_train_pred = model(X_train.reshape([-1,1])).squeeze()
train_error = mean_squared_error(y_true=y_train, y_pred=y_train_pred).item()
print("train error: ",train_error)model_large = Linear(input_size)
model_large = optimizer_lsm(model_large,X_train_large.reshape([-1,1]),y_train_large.reshape([-1,1]))
print("w_pred large:",model_large.params['w'].item(), "b_pred large: ", model_large.params['b'].item())y_train_pred_large = model_large(X_train_large.reshape([-1,1])).squeeze()
train_error_large = mean_squared_error(y_true=y_train_large, y_pred=y_train_pred_large).item()
print("train error large: ",train_error_large)六.模型評估
用訓練好的模型預測一下測試集的標簽，并計算在測試集上的損失。
y_test_pred = model(X_test.reshape([-1,1])).squeeze()
test_error = mean_squared_error(y_true=y_test, y_pred=y_test_pred).item()
print("test error: ",test_error)y_test_pred_large = model_large(X_test.reshape([-1,1])).squeeze()
test_error_large = mean_squared_error(y_true=y_test, y_pred=y_test_pred_large).item()
print("test error large: ",test_error_large)
)
