推薦指數: #paper/??? #paper/💡
發表于:AAAI21
簡稱:FAGCL

問題提出背景:

GCN常常使用低頻信息,但是在現實中,不僅低頻信息重要,高頻信息頁重要

如上圖,隨著類間鏈接的增加,低頻信號的增強開始變弱,高頻信號的增強開始增加.

作者貢獻:

• 不僅低頻信號重要,高頻信號也重要
• 我們提出了FAGCN,不需要知道網絡類型就可以自適應傳播低頻高頻信號

模型

先驗知識:

$$L=I_n?D^{?1/2}A{D}^{?1/2},$$
在這里,${\lambda }_l\in [0,2]$,$L=U\Lambda U^T$,$\Lambda =diag([{\lambda }_1,{\lambda }_2,?,{\lambda }_n])$
ChebNet的卷積核:$g_{\theta }={\sum }_{k=0}^{K?1}{\alpha }_k{\Lambda }^k$,$g_{\theta }=I?\Lambda$

高頻濾波器和低頻濾波器

如下,我們設計了高通濾波器$F_L$和低通濾波器$F_H$
$$\begin{array}{r}{\mathcal{F}}_L=\epsilon I+D^{?1/2}A{D}^{?1/2}=(\epsilon +1)I?L,\\ {\mathcal{F}}_H=\epsilon I?D^{?1/2}A{D}^{?1/2}=(\epsilon ?1)I+L\end{array}\text{\hspace{1em}?}$$
在這里,$\epsilon$是超參,范圍為[0,1]
如果我們使用$F_L和F_h$替代卷積核f,我們可以得到如下:
$$\begin{array}{r}{\mathcal{F}}_L{?}_{G}x=U[(\epsilon +1)I?\Lambda ]U^{?}x={\mathcal{F}}_L?x,\\ {\mathcal{F}}_H{?}_{G}x=U[(\epsilon ?1)I+\Lambda ]U^{?}x={\mathcal{F}}_H?x.\end{array}\text{\hspace{1em}?}$$

由于一階濾波器:$g_{\theta }({\lambda }_i)=\epsilon +1?{\lambda }_i$(圖2a)會存在負的幅度,我們為了擺脫這種情況,我們采用了圖2b,圖2d的二階濾波器

低通高通分析

$${\mathcal{F}}_L=\epsilon I+D^{?1/2}A{D}^{?1/2}$$
$${\mathcal{F}}_H=\epsilon I?D^{?1/2}A{D}^{?1/2}$$如上,$F_L?x$表示節點和鄰居特征在光譜區域的和,高頻信號$F_H?x$代表節點和鄰居特征之間的不同

為了整合高頻和低頻信號,一個很自然的想法是利用注意力機制去學習高頻和低頻信號
$${\tilde{\mathrm{h}}}_i={\alpha }_{ij}^L({\mathcal{F}}_L?\mathbf{H}{)}_i+{\alpha }_{ij}^H({\mathcal{F}}_H?\mathbf{H}{)}_i=\epsilon {\mathbf{h}}_i+\sum _{j\in {\mathcal{N}}_i}\frac{{\alpha }_{ij}^L?{\alpha }_{ij}^H}{\sqrt{d_i{d}_j}}{\mathbf{h}}_j,$$
為了簡化,我們令:
$${\alpha }_{ij}^L+{\alpha }_{ij}^H=1$$
$${\alpha }_{ij}^G={\alpha }_{ij}^L?{\alpha }_{ij}^H$$

remark

理解1:當${\alpha }_{ij}^G>0,i.e.,{\alpha }_{ij}^L>{\alpha }_{ij}^H$,這表示低頻信號是主要的信號.
理解2:${\alpha }_{ij}^G>0$表示節點和鄰居特征,${\mathrm{h}}_i+{\mathrm{h}}_j$.${\alpha }_{ij}^G<0$表示節點之間的區別.
為了自適應的設置${\alpha }_{ij}^G$,我們考慮節點和它的鄰居
$${\alpha }_{ij}^G=\tanh \left({\mathrm{g}}^{?}\left[{\mathrm{h}}_i\parallel {\mathrm{h}}_j\right]\right)$$$\mathbf{g}\in {\mathbb{R}}^{2F}$可以被視為一個共享的卷積核.tan函數限${\alpha }_{ij}^G$在[-1,1]內.初次之外,我們僅僅考慮節點和它的一階鄰居N的相關系數
計算${\alpha }_{ij}^G$之后,我們就可以聚合鄰居的表征:
$${\mathbf{h}}_i^{{}^{\prime }}=\epsilon {\mathbf{h}}_i+\sum _{j\in {\mathcal{N}}_i}\frac{{\alpha }_{ij}^G}{\sqrt{d_i{d}_j}}{\mathbf{h}}_j,$$

整個網絡的結構

$$\begin{array}{rlrl}& {\mathbf{h}}_i^{(0)}=?({\mathbf{W}}_1{\mathbf{h}}_i)& & \in {\mathbb{R}}^{F^{\prime }\times 1}\\ & {\mathbf{h}}_i^{(l)}=\epsilon {\mathbf{h}}_i^{(0)}+\sum _{j\in {\mathcal{N}}_i}\frac{{\alpha }_{ij}^G}{\sqrt{d_i{d}_j}}{\mathbf{h}}_j^{(l?1)}& & \in {\mathbb{R}}^{F^{\prime }\times 1}\\ & {\mathbf{h}}_{out}={\mathbf{W}}_2{\mathbf{h}}_i^{(L)}& & \in {\mathbb{R}}^{K\times 1},\end{array}$$
${\mathbf{W}}_1\in {\mathbb{R}}^{F\times F^{\prime }},{\mathbf{W}}_2\in {\mathbb{R}}^{F^{\prime }\times K}$是權重矩陣.K代表類的個數
我們對FAGCN進行分析,當${\alpha }_{ij}=1$,整個網絡就是GCN網絡.當我們使用正則化的${\alpha }_{ij}$以及softmax函數,整個網絡就是一個GAT網絡.但是,GCN和GAT的${\alpha }_{ij}$都大于0, 更傾向于聚合低頻信號.FAGCN可以更好的去聚合低頻和高頻信號.
除此之外,我們還可以推斷出,低通過濾可以讓表征更相似,低通可以讓表征更加區分

可視化邊相似度

如上圖,我們可以得到如下結論:Cora,Citeseer,Pubmed節點所有的邊都是正的權重.然而,根據6b,6c可以展示:大量的類內邊是負權重,這表明當類內邊和類間邊區分不清時,高頻信號發揮更重要的作用.而對于actor數據集,他是個異類,類間和類內邊沒有明顯區分.

總結

寫的真好.這篇提出了一個自適應系數,自適應的學習高通濾波器權重和低通濾波器權重,更好的聚合各種信息.