發表于:ICML24
推薦指數: #paper/???
創新點一顆星,證明三顆星(證明的不錯,值得借鑒,但是思路只能說還行吧)
如圖, 本文采取的創新點就是MLP用原始節點,GCN用鄰居節點的對比學習.這樣,可以加快運算速度
L E C L = ? 1 ∣ V ∣ ∑ v ∈ V 1 ∣ N ( v ) ∣ ∑ u ∈ N ( v ) log ? ? ( v ) , where(4) ? ( v ) ? exp ? ( f M ( v ) ? f G ( u ) / τ ) ∑ v ? ∈ V exp ? ( f G ( u ) ? f G ( v ? ) / τ ) + λ exp ? ( f M ( v ) ? f G ( v ? ) / τ ) , \begin{align} \mathcal{L}_{\mathrm{ECL}}=-\frac1{|\mathcal{V}|}\sum_{v\in\mathcal{V}}\frac1{|\mathcal{N}(v)|}\sum_{u\in\mathcal{N}(v)}\log\ell(v),\text{ where}\text{(4)}\\\ell(v)\triangleq\frac{\exp(f_M(v)^\top f_G(u)/\tau)}{\sum_{v^-\in\mathcal{V}}\exp(f_G(u)^\top f_G(v^-)/\tau)+\lambda\exp(f_M(v)^\top f_G(v^-)/\tau)}, \end{align} LECL?=?∣V∣1?v∈V∑?∣N(v)∣1?u∈N(v)∑?log?(v),?where(4)?(v)?∑v?∈V?exp(fG?(u)?fG?(v?)/τ)+λexp(fM?(v)?fG?(v?)/τ)exp(fM?(v)?fG?(u)/τ)?,??
如上,fM表示MLP的編碼層,fG表示GCN的編碼層.本文采取節點v和節點v的鄰居作為正樣本對.負樣本對為:在GCN層的鄰居節點u和負樣本(隨機采樣的負樣本),MLP層的節點v和GCN層的負樣本 v ? v^{-} v?(隨機采樣的負樣本)
邏輯說明:
原始節點為v,鄰居節點u.MLP映射的v與GCN層(一層)的u進行對比,就相當于節點v與二跳鄰居進行對比.新瓶裝舊酒,證明十分巧妙
總結:
創新點一般般,但是證明非常巧妙,值得一看(本博客并未附上作者詳細證明)
