機器學習在量化中的應用

一、核心應用場景

在因子研究中，scikit-learn?主要解決以下幾類問題：

因子預處理與標準化：StandardScaler,?RobustScaler
因子有效性分析：LinearRegression?(IC分析)
降維與因子合成：PCA,?FactorAnalysis
機器學習預測模型：LinearRegression,?Ridge,?Lasso,?ElasticNet,?RandomForest,?GradientBoosting?(XGBoost/LightGBM 更常用，但思想一致)
特征選擇：SelectKBest,?SelectFromModel
聚類分析：KMeans?(用于股票分類或市場狀態識別)

二、完整實戰流程與代碼示例

我們以一個完整的流程來演示：從因子計算開始，到最終生成預測信號。

步驟 1：準備數據與計算基礎因子

假設我們已有股票價格數據?df_prices?和成交量數據?df_volumes。

python

import pandas as pd
import numpy as np
from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import PCA
from sklearn.linear_model import LinearRegression
from sklearn.ensemble import RandomForestRegressor
from sklearn.pipeline import Pipeline
from sklearn.feature_selection import SelectKBest, f_regression# 假設 df_prices 是股票價格DataFrame，索引為日期，列為股票代碼
# 假設 df_volumes 是成交量DataFrame，結構相同# 計算一些常見的技術因子
def calculate_factors(prices, volumes):"""計算一系列因子"""factors_df = pd.DataFrame(index=prices.index)# 1. 價格動量因子 (過去5天收益率)factors_df['momentum_5'] = prices.pct_change(5).iloc[-1]  # 取最近一天的值# 2. 波動率因子 (過去20天收益率的標準差)factors_df['volatility_20'] = prices.pct_change().rolling(20).std().iloc[-1]# 3. 成交量加權平均價格 (VWAP) 因子typical_price = (prices['high'] + prices['low'] + prices['close']) / 3factors_df['vwap_ratio'] = (prices['close'] / (typical_price.rolling(20).mean())).iloc[-1]# 4. 相對強弱指數 (RSI) 因子delta = prices['close'].diff()gain = (delta.where(delta > 0, 0)).rolling(14).mean()loss = (-delta.where(delta < 0, 0)).rolling(14).mean()rs = gain / lossfactors_df['rsi'] = 100 - (100 / (1 + rs)).iloc[-1]# 5. 布林帶位置因子rolling_mean = prices['close'].rolling(20).mean()rolling_std = prices['close'].rolling(20).std()factors_df['bollinger_position'] = ((prices['close'] - rolling_mean) / (2 * rolling_std)).iloc[-1]return factors_df# 為每只股票計算因子
all_factors = {}
for ticker in df_prices.columns:# 這里需要為每只股票準備包含 OHLC 數據的數據框# 假設我們有一個字典 stock_data，包含每只股票的OHLCV數據stock_data = get_stock_data(ticker)  # 這是一個假設的函數factors = calculate_factors(stock_data, stock_data['volume'])all_factors[ticker] = factors# 將所有股票的因子合并成一個大的因子矩陣
factor_matrix = pd.DataFrame(all_factors).T  # 索引為股票代碼，列為因子

步驟 2：因子預處理與標準化

python

# 處理缺失值
factor_matrix = factor_matrix.dropna()# 初始化標準化器
scaler = StandardScaler()# 標準化因子數據
factor_scaled = scaler.fit_transform(factor_matrix)# 轉換回DataFrame
factor_scaled_df = pd.DataFrame(factor_scaled, index=factor_matrix.index, columns=factor_matrix.columns
)print("標準化后的因子數據:")
print(factor_scaled_df.head())

步驟 3：因子有效性分析 (IC分析)

python

# 假設我們有下期收益率數據 (目標變量)
# next_period_returns 是一個Series，索引為股票代碼，值為下期收益率# 確保因子和目標變量的股票代碼對齊
common_index = factor_scaled_df.index.intersection(next_period_returns.index)
X = factor_scaled_df.loc[common_index]
y = next_period_returns.loc[common_index]# 計算信息系數 (IC) - 因子與未來收益率的相關系數
ic_values = {}
for factor in X.columns:ic = np.corrcoef(X[factor], y)[0, 1]ic_values[factor] = ic# 排序并顯示IC值
ic_series = pd.Series(ic_values).sort_values(ascending=False)
print("因子IC值:")
print(ic_series)# IC值絕對值大于0.05通常認為有一定預測能力
significant_factors = ic_series[abs(ic_series) > 0.05].index.tolist()
print(f"\n顯著因子 ({len(significant_factors)}個): {significant_factors}")

步驟 4：因子降維與合成 (PCA)

python

# 使用PCA合成因子
pca = PCA(n_components=3)  # 提取3個主成分
factors_pca = pca.fit_transform(X)# 查看主成分的方差解釋比例
print("主成分方差解釋比例:", pca.explained_variance_ratio_)# 查看每個主成分的因子載荷
pca_components_df = pd.DataFrame(pca.components_,columns=X.columns,index=[f'PC{i+1}' for i in range(pca.n_components_)]
)print("\n主成分因子載荷:")
print(pca_components_df)# 將主成分作為新因子
X_pca = pd.DataFrame(factors_pca, index=X.index, columns=[f'PC{i+1}' for i in range(pca.n_components_)]

步驟 5：構建機器學習預測模型

python

# 劃分訓練集和測試集 (按時間劃分更合適，這里簡單隨機劃分)
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42
)# 方法1: 線性回歸模型
lr_model = LinearRegression()
lr_model.fit(X_train, y_train)# 查看因子權重
lr_weights = pd.Series(lr_model.coef_, index=X.columns).sort_values(ascending=False)
print("線性回歸因子權重:")
print(lr_weights)# 方法2: 隨機森林模型
rf_model = RandomForestRegressor(n_estimators=100, random_state=42)
rf_model.fit(X_train, y_train)# 查看特征重要性
rf_importance = pd.Series(rf_model.feature_importances_, index=X.columns).sort_values(ascending=False)
print("\n隨機森林因子重要性:")
print(rf_importance)# 評估模型
lr_score = lr_model.score(X_test, y_test)
rf_score = rf_model.score(X_test, y_test)
print(f"\n模型R2分數: 線性回歸={lr_score:.4f}, 隨機森林={rf_score:.4f}")

步驟 6：使用Pipeline構建完整因子處理流程

python

# 創建一個完整的處理管道
pipeline = Pipeline([('scaler', StandardScaler()),('feature_selection', SelectKBest(score_func=f_regression, k=5)),  # 選擇最好的5個因子('regressor', RandomForestRegressor(n_estimators=100, random_state=42))
])# 訓練管道
pipeline.fit(X_train, y_train)# 獲取選擇的因子
selected_mask = pipeline.named_steps['feature_selection'].get_support()
selected_factors = X.columns[selected_mask].tolist()
print(f"管道選擇的因子: {selected_factors}")# 測試管道性能
pipeline_score = pipeline.score(X_test, y_test)
print(f"管道模型R2分數: {pipeline_score:.4f}")

步驟 7：生成預測信號與選股

python

# 使用訓練好的模型對所有股票進行預測
current_factors = factor_scaled_df  # 當前時點的因子數據# 確保沒有訓練時未見過的股票
current_factors = current_factors[current_factors.index.isin(X.index)]# 生成預測
predictions = pipeline.predict(current_factors)# 創建預測結果DataFrame
prediction_df = pd.DataFrame({'ticker': current_factors.index,'predicted_return': predictions
}).sort_values('predicted_return', ascending=False)print("預測收益率排名前10的股票:")
print(prediction_df.head(10))# 生成買入信號 (例如預測收益率最高的前20%股票)
threshold = prediction_df['predicted_return'].quantile(0.8)
buy_signals = prediction_df[prediction_df['predicted_return'] >= threshold]print(f"\n買入信號股票 ({len(buy_signals)}只):")
print(buy_signals)

三、不同機器學習模型在因子研究中的特點

模型類型	代表算法	優點	缺點	適用場景
線性模型	`LinearRegression`,?`Ridge`,?`Lasso`	可解釋性強，速度快	只能捕捉線性關系	因子加權，初步篩選
樹模型	`RandomForest`,?`GradientBoosting`	捕捉非線性關系，抗過擬合較好	可解釋性較差	主力預測模型
降維方法	`PCA`,?`FactorAnalysis`	去除因子間多重共線性，提取核心特征	失去因子經濟意義	因子合成，數據預處理
特征選擇	`SelectKBest`,?`SelectFromModel`	簡化模型，提高泛化能力	可能遺漏重要因子	因子篩選