下面結合廣告推薦系統常見的深度學習模型(比如 Wide & Deep、DeepFM、Two-Tower 等),介紹一下“模型的結構信息”、Dense 數據和 Sparse 數據在訓練過程中的角色及處理方式。
-
模型結構信息
- 輸入層(Input Layer)
? Sparse 輸入:各類離散高維特征(用戶 ID、廣告 ID、性別、興趣標簽、地域等)
? Dense 輸入:各類連續或低維數值特征(用戶年齡、廣告曝光時長、歷史點擊率、價格、設備指標等) - Embedding 層(僅對 Sparse 特征)
? 把每個稀疏 one-hot/multi-hot 特征映射到一個低維實數向量。
? Embedding lookup 后,得到每個類別特征的 d 維稠密向量。 - 特征交叉(可選)
? Wide 組件:對原始特征或特征交叉做線性模型;
? Deep 組件:把多個 embedding 向量拼接(concat)或做內積、FM 二階交叉,再進入 MLP。 - MLP(全連接網絡層)
? 若干層全連接 + 激活(ReLU、PReLU、Dice 等),用于學習復雜非線性特征交互。 - 輸
- 輸入層(Input Layer)