PairRE: Knowledge Graph Embeddings via Paired Relation Vectors（論文筆記）

CCF等級：A

發布時間：2020年11月

25年3月24日交

一、簡介

二、原理

1.整體

2.關系模式

3.優化模型

三、實驗性能

四、結論和未來工作

一、簡介

將RotatE進行生級，RotatE只對頭實體h進行計算，PairRE對頭尾實體都進行計算。

二、原理

1.整體

PairRE評分函數：

$f_r(h,t) = -||h\circ r_H - t \circ r_T||$

每個關系 r 都由一對向量 $[r_H,r_T]$ ?來表示，意味著知識圖譜中的每一個關系，都會有一組特定的頭向量 $r_H$ 和尾向量 $r_T$ 與其對應。當同一個關系 r 在不同的三元組中出現時，它使用相同的 $r_H$ 和 $r_T$ 向量。提高了向量的利用率，并在一定程度上增加了模型的解釋性。

2.關系模式

PairRE可以處理1-to-N、N-to-1、N-to-N這種復雜關系。因為PairRE將關系轉化為向量對，因此可以處理對稱/反對稱關系、逆關系、編碼組合關系、子關系。

對稱關系：例如“朋友”關系。如果 e1 是 e2 ?的朋友，那么 e2 也是 e1 的朋友。這可以用三元組表示為：(e1,朋友,e2)∈T?(e2,朋友,e1)∈T。
反對稱關系：例如“父親”關系。如果 e1? 是?e2 的父親，則 e2?不可能是 e1 ?的父親。這可以用三元組表示為：(e1,父親,e2)∈T?(e2,父親,e1)?T。
逆關系：例如“父親”，“兒子”關系。如果 e1 是 e2 ?的父親，則 e2?是 e1 ?的兒子。這可以用三元組表示為：?(e1,父親,e2)∈T，則有?(e2,兒子,e1)∈T。
組合關系：例如“母親的父親”和“祖父”之間的關系。如果?e1?是?e2??的母親，并且?e2 是?e3??的父親，則實體?e1 是實體?e3的祖父。這用三元組表示為：
(e1,母親,e2)∈T并且?(e2,父親,e3)∈T，則有?(e1,祖父,e3)∈T。
子關系：例如“父親”和“家長”關系。如果 e1 是 e2 的父親，則 e1 是 e2 的家長。這用三元組表示為：(e1,父親,e2)∈T?(e1,家長,e2)∈T。

給定一個關系 r ，計算每個頭實體的平均尾實體數（tphr）和每個尾實體的平均頭實體數（hptr）。

若 $tphr<1.5$ 且 $tphr<1.5$ ，則關系 $r$ 為 $1-to-1$ ；
若 $tphr>1.5$ 且 $tphr>1.5$ ，則關系 $r$ 為 $1-to-N$ ；
若 $tphr>1.5$ 且 $tphr<1.5$ ，則關系 $r$ 為 $N-to-N$ ；

3.優化模型

PairRE模型利用了自對抗負采樣損失來優化模型。具體來說，該方法的目的是通過最大化正樣本的得分同時最小化負樣本的得分來訓練模型。以下是PairRE使用負采樣進行優化的具體步驟和公式：

$L=-\log\sigma (\gamma -f_r(h,t))-\Sigma_{i=1}^{n}\rho (h_{i}^{'},r,t_{i}^{'})\log\sigma (f_r(h_{i}^{'},t_{i}^{'})-\gamma )$

其中：

$\gamma$ 是一個固定邊界值。
$\sigma$ 是Sigmoid函數。
$(h_{i}^{'},r,t_{i}^{'})$ 表示第 i 個負樣本三元組。
$\rho (h_{i}^{'},r,t_{i}^{'})$ 表示負樣本的權重，其計算方式為：

$\rho ((h_{i}^{'},r,t_{i}^{'})|(h,r,t))=\frac{\exp(f_r(h_{i}^{'},t_{i}^{'}))}{\sum_{j} \exp(f_r(h_{j}^{'},t_{j}^{'}))}$

三、實驗性能

?表 3 展示了 ogbl-wikikg2 和 ogbl-biokg 的對比情況。在這兩個大規模數據集上，PairRE 達到了最先進的性能。對于 ogbl-wikikg2 數據集，PairRE在有限嵌入維度和增加嵌入維度的情況下均表現最佳。在參數數量與 ComplEx 相同（維度為 100）的情況下，PairRE測試 MRR 提升了近 10%。

表 4 展示了 FB15k 和 FB15k-237 數據集的對比情況。由于PairRE模型與 RotatE 共享相同的超參數設置和實現方式，因此與這一最先進的模型進行比較是公平的，能夠展示所提出模型的優勢和不足。

文章將 RotatE 中的關系向量改為成對向量。在修改后的 RotatE 模型中，頭實體和尾實體均基于成對向量以不同的角度進行旋轉該模型也可以被視為基于復數值的PairRE。文章將此模型命名為 RotatE+PairRelation。實驗結果如圖 2 所示。在相同的嵌入維度（實驗中為 50）下，RotatE+PairRelation 在 1 對1、1 對 N、N 對 1 和 N 對 N 關系類別上分別將RotatE 的性能提高了 20.8%、27.5%、14.4% 和39.1%。這些顯著的改進證明了成對關系向量處理復雜關系的優越能力。

四、結論和未來工作

提高計算效率
增強關系模式表達能力
結合其他先進技術（如神經網絡）
深入研究“RotatE+PairRelation”

本文來自互聯網用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。
如若轉載，請注明出處：http://www.pswp.cn/web/73085.shtml
繁體地址，請注明出處：http://hk.pswp.cn/web/73085.shtml
英文地址，請注明出處：http://en.pswp.cn/web/73085.shtml

如若內容造成侵權/違法違規/事實不符，請聯系多彩編程網進行投訴反饋email:809451989@qq.com，一經查實，立即刪除！