1. 引言

在大規模推薦系統中，如何從海量候選物品中高效檢索出用戶可能感興趣的物品是一個關鍵問題。傳統的矩陣分解方法在處理稀疏數據和長尾分布時面臨挑戰。本文介紹了一種基于雙塔神經網絡的建模框架，通過采樣偏差校正技術提升推薦質量，并成功應用于YouTube視頻推薦系統。

2. 建模框架

論文的亮點不在于提出了新的架構，而是針對訓練時負采樣的處理。

• 模型架構
  

2.1 問題定義

給定查詢（用戶和上下文）和物品的特征表示：

• 查詢特征：$x_i\in \mathcal{X}$
• 物品特征：$y_j\in \mathcal{Y}$

目標是通過雙塔神經網絡學習嵌入函數：
$$\begin{array}{rl}u& :\mathcal{X}\times {\mathbb{R}}^d\to {\mathbb{R}}^k\\ v& :\mathcal{Y}\times {\mathbb{R}}^d\to {\mathbb{R}}^k\end{array}$$
其中模型參數$\theta \in {\mathbb{R}}^d$，輸出為內積得分：
$$s(x,y)=?u(x,\theta ),v(y,\theta )?$$

2.2 損失函數

將推薦視為帶連續獎勵的多分類問題，采用softmax概率：
$$\mathcal{P}(y|x;\theta )=\frac{e^{s(x,y)}}{{\sum }_{j\in [M]}{e}^{s(x,y_j)}}$$

加權對數似然損失：
$$L_T(\theta )=?\frac{1}{T}\sum _{i\in [T]}{r}_i?\log (\mathcal{P}(y_i|x_i;\theta ))$$

2.3 批處理softmax

當物品集$M$極大時，計算完整softmax不可行。一種常見的方法是使用一批項目的一個子集，特別是對于來自同一批次的所有查詢，使用批次內的項目作為負樣本。給定一個包含 B 對 ${(x_i,y_i,r_i)}_{i=1}^B$ 的小批次，批次 softmax 為：

$${\mathcal{P}}_B(y_i|x_i;\theta )=\frac{e^{s(x_i,y_i)}}{{\sum }_{j\in [B]}{e}^{s(x_i,y_j)}}$$

2.4 采樣偏差校正

流行物品因高頻出現在批次中會被過度懲罰，引入對數校正項：
$$s^c(x_i,y_j)=s(x_i,y_j)?\log (p_j)$$
其中$p_j$為物品$j$的采樣概率。

校正后的損失函數：
$$L_B(\theta )=?\frac{1}{B}\sum _{i\in [B]}{r}_i?\log \left(\frac{e^{s^c(x_i,y_i)}}{e^{s^c(x_i,y_i)}+{\sum }_{j\ne i}{e}^{s^c(x_i,y_j)}}\right)$$

3. 流式頻率估計算法

3.1 核心思想

通過全局步長（global step）估計物品采樣間隔$\delta$，進而計算采樣概率：
$$p=\frac{1}{\delta }$$

3.2 算法實現

數據結構：

• 哈希數組$A$：記錄物品最后一次出現的步長
• 哈希數組$B$：估計物品的采樣間隔$\delta$

更新規則（SGD形式）：
$$B[h(y)]\leftarrow (1?\alpha )?B[h(y)]+\alpha ?(t?A[h(y)])$$

數學性質：

• 偏差分析：
  $$\mathbb{E}({\delta }_t)?\delta =(1?\alpha {)}^t{\delta }_0?(1?\alpha {)}^{t?1}\delta$$

• 方差上界：
  $$\mathbb{E}[({\delta }_t?\mathbb{E}[{\delta }_t]{)}^2]\le (1?\alpha {)}^{2t}({\delta }_0?\delta {)}^2+\alpha \mathbb{E}[({\Delta }_1?\delta {)}^2]$$

• 各學習率誤差的結果
  

3.3 多哈希優化

使用$m$個哈希函數減少碰撞誤差：
$$\hat{p}=\underset{1\le i\le m}{\max }\frac{1}{B_i[h_i(y)]}$$

4. 在YouTube推薦系統中的應用

4.1 系統架構

• 查詢塔：融合用戶觀看歷史和種子視頻特征
• 候選塔：處理候選視頻內容特征
• 共享特征嵌入提升訓練效率

4.2 關鍵創新

1. 流式訓練：按天順序消費數據，適應分布變化
2. 哈希桶技術：處理新出現的內容ID
3. 索引管道：量化哈希技術加速最近鄰搜索

5.Trick

在相似度得分上添加溫度參數 $\tau$
此外，為了使預測結果更加尖銳，我們在每個 logit 上添加了一個溫度參數 τ。具體來說，我們使用以下公式計算查詢和候選項目之間的相似度得分：
$$s(x,y)=\frac{?u(x,\theta ),v(y,\theta )?}{\tau }$$
?
Youtube實驗結果

6. 結論

本文提出的采樣偏差校正方法通過：

1. 理論保證的無偏頻率估計
2. 適應動態變化的流式環境
3. 可擴展的分布式實現

在十億級物品的推薦場景中顯著提升了檢索質量，為大規模內容推薦提供了新的解決方案。

引用

Yi, X., Yang, J., Hong, L., Cheng, D. Z., Heldt, L., Kumthekar, A., Zhao, Z., Wei, L., & Chi, E. (2019). Sampling-bias-corrected neural modeling for large corpus item recommendations. Proceedings of the 13th ACM Conference on Recommender Systems, 269–277.