【論文閱讀】HCCF：Hypergraph Contrastive Collaborative Filtering

論文出處：SIGIR 2022?CCF-A

論文地址：Hypergraph Contrastive Collaborative Filtering

論文代碼：akaxlh/HCCF: HCCF, SIGIR 2022

摘要

介紹

研究背景與核心問題

現有方法局限性

HCCF的創新解決方案

技術優勢

定義與相關工作?

協同過濾的技術演進

1. 傳統協同過濾方法

2. 圖神經網絡革命

3. 當前技術瓶頸

超圖學習的創新應用

1. 超圖基礎理論

2. 推薦系統中的實踐

3. HCCF的突破

對比學習的新范式

1. 自監督學習浪潮

2. 推薦系統中的應用

3. HCCF的獨特視角

方法?

數據表示與圖構建

1.1 基礎數據表示

1.2 嵌入初始化

局部圖卷積通道

2.1 輕量圖卷積層

2.2 多階表示融合

超圖全局編碼通道

3.1 動態超圖構建

3.2 分層消息傳遞

對比學習模塊

4.1 視圖生成

4.2 對比損失計算

聯合優化策略

5.1 推薦主任務

5.2 正則化項

5.3 聯合訓練

復雜度優化技巧

6.1 稀疏矩陣計算

6.2 內存效率優化

6.3 分布式訓練

理論保證

7.1 梯度分析

7.2 泛化邊界

實驗

摘要

協同過濾（CF）已經成為將用戶和項目參數化到潛在表示空間的基本范式，并從交互數據中獲取它們的相關模式。在各種CF技術中，基于gnn的推薦系統（如PinSage和LightGCN）的開發提供了最先進的性能。然而，在現有的解決方案中，有兩個關鍵的挑戰沒有得到很好的探討：i)基于更深層次的基于圖的CF架構的過度平滑效應，可能導致用戶表示無法區分和推薦結果的退化。ii)監督信號（即用戶-物品交互）在現實中通常是稀缺的，分布是傾斜的，這限制了CF范式的表示能力。為了解決這些挑戰，我們提出了一個新的自監督推薦框架超圖對比協同過濾（Hypergraph contrast Collaborative Filtering， HCCF），通過超圖增強的跨視圖對比學習架構來共同捕獲局部和全局協作關系。特別地，設計的超圖結構學習增強了基于gnn的CF范式的判別能力，從而全面捕獲用戶之間復雜的高階依賴關系。此外，我們的HCCF模型有效地將超圖結構編碼與自監督學習結合起來，基于超圖增強的自我區分來增強推薦系統的表示質量。在三個基準數據集上的大量實驗表明，我們的模型優于各種最先進的推薦方法，并且對稀疏的用戶交互數據具有魯棒性。我們的模型實現代碼可在https://github.com/akaxlh/HCCF上獲得。

介紹

研究背景與核心問題

這篇論文聚焦于推薦系統領域的基礎范式——協同過濾(CF)技術。當前基于圖神經網絡(GNN)的推薦模型(如PinSage、LightGCN等)雖然取得了state-of-the-art的性能，但仍存在兩個關鍵挑戰未被很好解決：

過平滑效應：隨著GNN層數加深，用戶表示會變得難以區分，導致推薦質量下降。論文圖1通過熱力圖直觀展示了現有模型(如LightGCN、PinSage等)存在的這一問題。
數據稀疏性：實際場景中用戶-物品交互數據通常非常稀疏且分布不均，這嚴重限制了CF模型的表示能力。例如在Yelp數據集中，交互矩陣密度僅為0.0021。

現有方法局限性

論文分析了三類主流推薦方法的不足：

傳統CF方法：如矩陣分解等，無法捕捉高階協作信號
GNN-based方法：如NGCF、LightGCN等，存在過平滑問題
自監督方法：如SGL等，隨機掩碼可能丟失重要交互信息

特別指出，現有方法大多只關注局部用戶-物品交互，而忽視了全局的用戶間依賴關系。

HCCF的創新解決方案

論文提出超圖對比協同過濾框架(HCCF)，核心創新包括：

雙通道建模：
- 局部視圖：用戶-物品交互圖
- 全局視圖：超圖結構捕獲高階依賴
自監督對比學習：
- 將局部和全局表示作為對比視圖
- 設計基于InfoNCE的對比損失函數
參數化超圖學習：
- 低秩參數化降低計算復雜度
- 分層超圖映射增強表示能力

技術優勢

HCCF相比現有方法具有三大優勢：

緩解過平滑：通過超圖引入全局依賴，避免局部鄰居過度平滑
增強魯棒性：對比學習提供自監督信號，緩解數據稀疏問題
可解釋性：學習到的超圖結構反映用戶間潛在關聯模式

定義與相關工作?

協同過濾的技術演進

1. 傳統協同過濾方法

矩陣分解：如BiasMF通過低維潛在空間建模用戶-物品交互
神經網絡擴展：NCF用MLP替代內積，增強非線性建模能力
自編碼器應用：AutoRec通過重建損失學習表示

2. 圖神經網絡革命

早期探索：GC-MC首次將圖卷積應用于推薦
高階連接建模：NGCF通過多層傳播捕獲多跳關系
架構簡化：LightGCN去除非線性變換，驗證了"less is more"的哲學

3. 當前技術瓶頸

過平滑效應：隨層數增加節點表示趨于相似
數據稀疏性：長尾物品和冷啟動用戶表現不佳
全局依賴缺失：現有方法難以捕獲非直接相連的用戶關系

超圖學習的創新應用

1. 超圖基礎理論

與傳統圖的區別：超邊可連接任意數量節點
核心優勢：自然建模高階關系，適合群體行為分析

2. 推薦系統中的實踐

HyRec：將用戶作為超邊連接其交互物品
DHCF：雙通道跳轉超圖卷積
現有局限：依賴預定義超圖結構，缺乏自適應學習

3. HCCF的突破

對比學習的新范式

1. 自監督學習浪潮

計算機視覺：SimCLR證明對比學習的強大表征能力
自然語言處理：InfoNCE損失在句子嵌入中的應用
圖數據：GraphCL探索圖級別的對比

2. 推薦系統中的應用

SGL：通過節點/邊dropout生成對比視圖
MHCN：最大化節點與圖級別的互信息
關鍵挑戰：如何定義適合推薦任務的語義保持增強

3. HCCF的獨特視角

視圖構建：局部交互圖vs全局超圖
信號增強：利用學到的超圖結構作為自然增強
理論保證：通過梯度分析證明對困難負樣本的關注

方法?

數據表示與圖構建

1.1 基礎數據表示

設推薦系統中有 $|\mathcal{U}|$ 個用戶和 $|\mathcal{V}|$ 個物品，用戶-物品交互數據表示為稀疏矩陣：

其中元素 $a_{ij}=1$ 表示觀測到正反饋（如點擊、購買）。為處理數據稀疏性，采用基于度的歸一化：

這里度矩陣 $\mathbf{D}_u = \text{diag}(\mathbf{A}\mathbf{1})$ 和 $\mathbf{D}_v = \text{diag}(\mathbf{A}^\top\mathbf{1})$ 分別對應用戶和物品的交互次數。

1.2 嵌入初始化

初始化可訓練的參數矩陣：

其中 $d$ 為嵌入維度（默認64），采用Xavier均勻初始化：

局部圖卷積通道

2.1 輕量圖卷積層

與傳統GCN不同，HCCF移除了非線性變換和特征變換矩陣，每層僅保留鄰域聚合：

其中殘差連接防止層數加深時的梯度消失。以2層傳播為例：

2.2 多階表示融合

聚合各層表示得到最終局部編碼：

這種加權平均策略被證明比直接使用最后一層表示更穩定。

超圖全局編碼通道

3.1 動態超圖構建

傳統超圖需要預定義超邊，HCCF創新性地通過可學習矩陣自動構建：

其中 $H$ 為超邊數量（默認128）。超圖鄰接矩陣通過 $\mathcal{H}\mathcal{H}^\top$ 計算，其元素 $(\mathcal{H}\mathcal{H}^\top)_{ij}$ 反映用戶 $i$ 和 $j$ 的全局相關性。

3.2 分層消息傳遞

設計3層超圖卷積網絡：

其中 $\mathbf{\nabla}_*$ 為可學習的超邊交互矩陣， $\sigma$ 為LeakyReLU（負斜率0.2）。

對比學習模塊

4.1 視圖生成

對每個用戶 $u_i$ 生成兩個視圖：

局部視圖： $\mathbf{z}i = \text{L2-Norm}(\mathbf{E}{\text{local}}[i,:])$
全局視圖： $\gamma_i = \text{L2-Norm}(\mathbf{\Gamma}[i,:])$

4.2 對比損失計算

采用InfoNCE損失函數：

其中：

$s_{ij} = \mathbf{z}_i^\top \gamma_j$ 為余弦相似度
$\tau=0.5$ 為溫度系數
$B$ 為批次大小（默認1024）

該損失最大化正樣本對$(z_i,\gamma_i)$的相似度，同時推遠負樣本對$(z_i,\gamma_j)_{j\neq i}$。

聯合優化策略

5.1 推薦主任務

采用BPR損失優化推薦性能：

其中 $(j^+,j^-)$ 分別表示正負樣本物品。

5.2 正則化項

控制模型復雜度：

5.3 聯合訓練

最終目標函數：

采用Adam優化器，初始學習率 $10^{-3}$ ，每10個epoch衰減0.96。

復雜度優化技巧

6.1 稀疏矩陣計算

鄰接矩陣乘法采用CSR格式存儲和計算：

def sparse_dense_matmul(sparse, dense):return torch.sparse.mm(sparse, dense)  # 使用CUDA加速

6.2 內存效率優化

梯度檢查點：在超圖卷積層中緩存中間結果
混合精度訓練：對 $\mathcal{H}$ 矩陣使用FP16存儲

6.3 分布式訓練

采用數據并行策略：

torchrun --nproc_per_node=4 train.py \--batch_size=4096 \--embed_dim=64

理論保證

7.1 梯度分析

對比損失對負樣本的梯度為：

當 $s_{ij}$ 較大（困難負樣本）時，梯度幅值顯著增強。

7.2 泛化邊界

根據[2]，對比學習的泛化誤差上界為：

說明增大批次大小 $B$ 和超邊數 $H$ 可以提升泛化能力。

實驗

實驗部分在Yelp、MovieLens和Amazon-book三個基準數據集上進行了全面驗證，首先將每個數據集按7:1:2劃分訓練/驗證/測試集，采用全排序評估策略避免采樣偏差，以Recall@N和NDCG@N為核心指標對比了15種基線方法（包括傳統矩陣分解、GNN方法和最新自監督模型）。消融實驗通過構建四個變體（-HHM移除分層超圖映射、-LowR取消低秩分解、-Hyper僅用局部圖、-CCL禁用對比學習）驗證各模塊必要性，特別針對數據稀疏場景按用戶交互次數分組測試，結果顯示在交互少于20次的極端稀疏用戶上HCCF相比LightGCN提升31.6%，同時通過測量嵌入平滑度（MAD指標）證實模型能將過平滑程度降低7.3%，所有實驗均使用Tesla V100 GPU重復5次取平均，統計檢驗p值<0.01確認結果顯著性。