簡介
ESMM（Entire Space Multi-task Model）是2018年阿里巴巴提出的多任務學習模型。基于共享的特征表達和在用戶整個行為序列空間上的特征提取實現對CTR、CVR的聯合訓練
解決的問題
SSB（sample selection bias）
如下圖1所示，傳統的CVR模型的訓練樣本是基于點擊樣本構成的，只是真實展現樣本的一部分
DB（data sparsity）
訓練CTR模型的數據量比CTR模型的量級少很多，相對較少的數據量增加了模型訓練的難度
解決的方案
針對SSB
方案
在整個用戶行為序列空間上建模（Modeling over entire space）
數學表達
如下所示：
其中，y、z分別表示CTR、CVR的label，pCTCVR = p(y=1,z=1|x)、pCTR = p(y=1|x)都是在整個樣本空間上建模的，最終得到pCVR
針對DB
方案
共享用戶整個行為序列空間上的特征表達（Feature representation transfer），對于CVR網絡可以實現從展現但未點擊的樣本中學習
模型結構和Loss設計
模型結構
其中，CTR、CVR網絡共享embedding參數。
Loss
- 考慮Loss的時候，考慮pCTCVR、pCTR的交叉熵損失之和，而不單獨考慮pCTCVR、pCTR來訓練模型然后基于公式（1）計算pCVR。原因在于：
- 可以達到聯合訓練的目的
- pCTR是很小的數值，若單獨訓練則采用除法會帶來計算的不穩定，導致pCVR不在[0,1]區間。
- 具體的Loss如下所示
其中，l(·)是交叉熵損失函數。
模型效果
數據集
分為Public Datase、Product Dataset，均來自淘寶推薦系統的traffic logs。數據集詳情如下：
數據集下載鏈接：數據集下載鏈接
各模型相同的參數
- 激活函數：ReLU
- embedding維度：18維
- MLP每層維度：360*200*80*2
- adam求解器：beta1 = 0.9，beta2 = 0.999，平滑項=10^(-8)
Public Dataset的模型效果
數據集劃分
50%數據訓練，50%數據做測試
模型效果
對比CVR、CTCVR結果
- CTCVR的計算：pCTCVR = pCTR * pCVR
- pCVR：訓練上述的每個模型得到的結果
- pCTR：基于同一個被獨立訓練的CTR模型（和BASE模型采用想用的結構和超參）得到
各CVR模型說明
| 模型 | 樣本 | 模型說明 |
| BASE | 有點擊的樣本 | 結構為圖2的ESMM模型結構中的CVR網絡 |
| AMAN | 所有的展現樣本 | negative sampling strategyand best results are reported with sampling rate searched in {10%, 20%, 50%, 100%}模型對應的文獻：One-class collaborative fltering（2008年） |
| OVERSAMPLING | 有點擊的樣本 | copies positive examples to reduce difficulty of training with sparse data,with sampling rate searched in {2, 3, 5, 10}模型對應的文獻：Mining with rarity: a unifying framework（2004年） |
| UNBIAS | 有點擊的樣本 | fit the truly underlying distribution from observations via rejection sampling模型對應的文獻：Bid-aware gradient descent for unbiased learning with censored data in display advertising（2016年） |
| DIVISION | 所有的展現樣本 | estimates pCTR and pCTCVR with individually trained CTR and CTCVR networks and calculates pCVR by 公式1 |
| ESMM-NS | 所有的展現樣本 | a lite version of ESMM without sharing of embedding parameters |
| ESMM | 所有的展現樣本 | 相比ESMM-NS，有共享的embedding參數 |
Product Dataset的模型效果
注：各模型說明同Public Dataset的模型效果
結尾
親愛的讀者朋友：感謝您在繁忙中駐足閱讀本期內容！您的到來是對我們最大的支持??
正如古語所言："當局者迷，旁觀者清"。您獨到的見解與客觀評價，恰似一盞明燈💡，能幫助我們照亮內容盲區，讓未來的創作更加貼近您的需求。
若此文給您帶來啟發或收獲，不妨通過以下方式為彼此搭建一座橋梁： ? 點擊右上角【點贊】圖標，讓好內容被更多人看見 ? 滑動屏幕【收藏】本篇，便于隨時查閱回味 ? 在評論區留下您的真知灼見，讓我們共同碰撞思維的火花
我始終秉持匠心精神，以鍵盤為犁鏵深耕知識沃土💻，用每一次敲擊傳遞專業價值，不斷優化內容呈現形式，力求為您打造沉浸式的閱讀盛宴📚。
有任何疑問或建議？評論區就是我們的連心橋！您的每一條留言我都將認真研讀，并在24小時內回復解答📝。
愿我們攜手同行，在知識的雨林中茁壯成長🌳，共享思想綻放的甘甜果實。下期相遇時，期待看到您智慧的評論與閃亮的點贊身影?！
萬分感謝🙏🙏您的點贊👍👍、收藏?🌟、評論💬🗯?、關注??💚～?
自我介紹：一線互聯網大廠資深算法研發（工作6年+），4年以上招聘面試官經驗（一二面面試官，面試候選人400+），深諳崗位專業知識、技能雷達圖，已累計輔導15+求職者順利入職大中型互聯網公司。熟練掌握大模型、NLP、搜索、推薦、數據挖掘算法和優化，提供面試輔導、專業知識入門到進階輔導等定制化需求等服務，助力您順利完成學習和求職之旅（有需要者可私信聯系）?
友友們，自己的知乎賬號為“快樂星球”，定期更新技術文章，敬請關注！???
)
