1.研究背景

BERT曾被應用在多項NLP任務中，并且取得了很好的結果。它通過在大規模開放語料庫上進行預訓練以獲得通用的語言表示，然后在特定的下游任務中進行微調，吸收特定領域的知識。但這些模型在不同的領域執行知識驅動任務時，效果不佳。為了解決這個問題，可以在特定領域的數據集上進行預訓練，或者在預訓練時注入特定的領域知識。但這些方法一般非常耗時且昂貴。

有些學者提出將知識圖譜（KG）集成到語言表示（LR）中，為模型配備領域知識，提高模型在特定領域任務上的性能，同時降低大規模預訓練成本。但在知識整合的同時，存在兩個不可避免的問題：1）異構嵌入空間（HES），文本中的詞和KG中的詞嵌入向量空間不一致；2）知識噪音（KN），過多的知識融合會使句子偏離正確的意思。為了解決這些問題，文章提出一種基于知識圖譜的語言表示模型——K-BERT。K-BERT能夠與BERT模型兼容，加載任何預先訓練好的BERT模型，并且通過配置KG可以很容易地將領域知識注入到模型中，而不需要預訓練。另外，該模型引入了軟位置和可見矩陣來限制知識的影響以克服知識噪音。

2.方法

文章詳細介紹了K-BERT的實現，K-BERT的模型體系結構主要由四個模塊組成，即知識層、嵌入層、視圖層和掩碼轉換。其總體框架如圖1所示：

K-BERT模型的每一部分都有著不可或缺的作用。對于輸入的句子，知識層首先從KG向其注入相關的三元組，將原始句子轉換為知識豐富的句子樹。然后將句子樹同時饋送到嵌入層和視覺層，然后將其轉換為符號級嵌入表示和可視矩陣。可見矩陣用于控制每個符號的可見區域，防止由于注入過多的知識而改變原句的意思。

2.1 知識層

知識層(KL)用于句子知識注入和句子樹轉換。給定輸入句子s={w0，w1，w2，...，wn}和知識圖譜K，KL輸出句子樹t={w0，w1，.，wi{(ri0，wi0)，...，(rik，wik)}，...，wn}。這個過程可以分為兩個步驟：知識查詢(K-Query)和知識注入(K-Inject)。

在K-Query中，從K-Query中選出句子s中涉及的所有實體名稱來查詢其對應的三元組。K-Query可以表示為(1)，

（1）

其中E={(wi，ri0，wi0)，.，(wi，rik，wik)}是相應三元組的集合。

接下來，K-Inject通過將E中的三元組注入到它們對應的位置，將查詢到的E注入到句子s中，并生成一個句子樹t。在本文中，一棵句子樹可以有多個分支，但其深度固定為1，這意味著三元組中的實體名稱不會迭代地派生分支。K-Inject可以表示為（2），

2.2 嵌入層

嵌入層(EL)的功能是將語句樹轉換為可以饋送到掩碼轉換器中的嵌入表示。與BERT相似，K-BERT的嵌入表示是由符號嵌入、位置嵌入和段嵌入三部分組成，不同之處在于K-BERT嵌入層的輸入是句子樹，而不是符號序列。因此，如何在保留句子樹結構信息的同時將句子樹轉換成序列是K-BERT的關鍵。

符號嵌入與BERT基本一致，不同之處在于語句樹中的符號在嵌入操作之前需要重新排列。在重新排列策略中，分支中的符號被插入到相應節點，而后續的符號則向后移動。經此操作后句子變得不可讀，丟失了正確的結構信息。但該問題可以通過軟位置可視矩陣來解決。

BERT輸入句子的所有結構信息都包含在位置嵌入中，可以將缺失的結構信息重新添加到不可讀的重新排列的句子中，但句子位置信息會有所改變。要解決這個問題，需要給句子樹重新設置位置標號。但在設置位置編號時又會發生實際沒有聯系的詞匯，因具有相同的軟位置標號而出現聯系，導致句子意思發生改變。這個問題的解決方案是使用掩碼-自我注意機制。

2.3 視圖層

視圖層是K-BERT和BERT的最大區別，也是這種方法如此有效的原因。K-BERT的輸入是一棵句子樹，其中的分支是從KG獲得的知識。但它可能導致原句意思的變化，即KN問題。

在句子樹中，一個實體的三元組應與其他詞匯無關。同時，用于分類的[CLS]標簽不能繞過主體詞匯來獲得修飾三元組的信息。為了解決這個問題，K-BERT使用可見矩陣M來限制每個符號的可見區域防止不相干詞匯相互干擾。可視矩陣可以表示為（3），

（3）

其中wi?wj表示在同一分支，wi?wj則不在。i和j是硬位置索引。

嵌入層和可視層的工作原理如圖2所示：

2.4 掩碼轉換

可視矩陣M包含句子樹的結構信息，但BERT中的編碼器不能接收M作為輸入，所以我們需要將其修改為Mask-Transformer，它可以根據M限制自注意區域。Mask-Transformer是一個由多個掩碼-自我注意塊組成的堆棧。

為了利用M中的句子結構信息來防止錯誤的語義變化，文章提出了一種掩碼-自注意，它是自我注意的擴展。掩碼-自注意表示如(4)。

其中Wq，Wk和Wv表示可訓練的模型參數；hi表示第i個掩碼自我注意塊；dk是比例因子；M是可視矩陣。掩碼轉換的工作原理如圖4所示：

圖4 掩碼轉換是多個掩碼自我注意塊的堆棧

3.實驗

3.1 數據集

K-BERT在12個中國自然語言處理任務上進行微調，其中8個是開放領域的，4個是特定領域的。文章采用兩個預訓練語料庫：WikiZh和WebtextZH；三個中文知識圖譜：CN-DBpedia、HowNet和MedicalKG。在文章中，作者將K-BERT和Google BERT和Our BERT模型進行了一個比對，以觀察它的性能。

3.2 實驗分析

在文章中，作者首先比較了KBERT和BERT在八個中文開放領域自然語言處理任務上的性能。這八個任務分別是：Book_revire、Chnsenticorp、Shopping、Weibo、XNLI、LCQMC、NLPCC-DBQA和MSRA-NER。

上述每個數據集分為三個部分：訓練、開發和測試。實驗結果如表1和表2所示：

表1 句子分類任務的不同模型在開放領域任務上的結果(ACC%）

表2 不同模型對NLPCC-DBQA(MRR%)和MSRA-NER(F1%)的結果

從表中可以看出，使用額外的語料庫(WebtextZh)也可以帶來性能提升，但不如KG顯著。

作者在兩個特定領域的任務：Domain Q&A和Law_Q&A上評估了K-BERT的性能。實驗結果如表3所示：

表3 特定領域任務的各種模型的結果(%)

結果表明，K-BERT在特定領域上的具有明顯的語言表示優勢。

參考資料

https://www.aaai.org/Papers/AAAI/2020GB/AAAI-LiuW.5594.pdf

代碼

https://github.com/autoliuweijie/K-BERT