推薦系統概述
- 1.數據部分
- 2.模型部分
- 2.1模型的組成
- 2.2模型的訓練
- 2.3模型評估
《深度學習/推薦系統》讀書筆記
推薦系統要處理的問題:對于用戶U(user),在特定的場景C(context),針對海量的“物品信息”,構建一個模型f(U,I,C)f(U,I,C)f(U,I,C), 預測用戶對于特定候選物品I(item)的喜好程度,再依據喜好程度對所有候選物品進行排序,生成推薦列表的問題。
推薦系統的最終優化目標包括兩個維度:
- 用戶體驗的優化
- 公司商業利益的優化
在信息過載的時代,如何高效推薦。
推薦算法工程師要做什么:數據和模型(其實也就是推薦系統涉及的技術)
1.數據部分
收集和處理數據的三種平臺,收集原數據,處理原始數據
- 客戶端及服務器端實時數據處理
- 流處理平臺實時數據處理
- 大數據平臺離線數據處理
數據平臺的數據出口:
- 模型訓練樣本數據
- 線上推斷特征數據
- 監控系統的統計數據
2.模型部分
2.1模型的組成
召回層–海量候選集中召回用戶可能感興趣的物品
排序–對召回的候選集進行精排
補充策略及算法層–依據某些規則(兼顧多樣性,新鮮度,流行性,競價?)對候選集合進行再排序
在模型部分,最重要的是排序層算法的設計。
2.2模型的訓練
離線訓練–利用全部樣本,逼近全局最優
在線更新–利用新的數據,反映新數據變化趨勢,滿足實時性需求
2.3模型評估
離線評估
線上A/B測試
(模型的迭代優化。)