注意力機制在大語言模型中的原理與實現總結

1. 章節介紹

在大語言模型的學習中，理解注意力機制至關重要。本章節旨在深入剖析注意力機制的原理及其在大語言模型中的應用，為構建和優化大語言模型提供理論與實踐基礎。通過回顧神經網絡基礎及傳統架構的局限性，引出注意力機制的核心內容。在實際應用中，大語言模型廣泛用于文本生成、機器翻譯、問答系統等場景，而注意力機制是提升這些應用性能的關鍵因素。無論是程序員在開發相關應用時，還是架構師設計模型架構，都需要對注意力機制有深入理解，因此這部分內容在面試中也備受關注。

核心知識點	面試頻率
注意力機制原理	高
與循環神經網絡對比	中
注意力機制算法細節	高
注意力機制代碼實現	高
注意力機制應用模式	中

2. 知識點詳解

在這里插入圖片描述

注意力機制原理

傳統架構的局限：在傳統循環神經網絡用于文本翻譯的編碼器 - 解碼器架構里，編碼器處理輸入文本（如中文）后，將最后一個隱藏狀態傳給解碼器以完成翻譯（如翻譯成英文）。但隨著文本長度增加，期望用一個定長的隱藏狀態去包含所有文本知識變得不合理。從數學公式角度看，循環神經網絡隱藏狀態可分解為詞源記憶的加權平均，權重與數據及當前輸出位置相關，當距離（i - k）變大時，權重項迅速趨近于0，導致遠距離詞源對最后隱藏狀態貢獻的信息量極少，這嚴重阻礙了模型效果的提升。
注意力機制的革新：注意力機制從宏觀上改變了這種狀況，它將編碼器所有的隱藏狀態整合起來，經過一系列處理后再交給解碼器。具體實現方式為，針對當前輸入，分別計算對每一個隱藏狀態的權重，然后基于這些權重對所有隱藏狀態進行加權平均，從而得到一個背景向量c。這個背景向量c會作為額外輸入提供給解碼器，就好像當前輸入在背景文本中尋找應該重點關注的詞，并依據注意力分布情況整合背景信息。

https://transformers.run/c1/attention/

與循環神經網絡對比

循環神經網絡的短板：循環神經網絡在處理序列數據時，隱藏狀態計算存在明顯不足。其權重項無法有效表示詞元之間的相關關系，并且隨著序列長度的增加，遠距離詞源的信息在傳遞過程中逐漸丟失，這使得模型難以捕捉到長距離依賴關系。同時，循環神經網絡通常以串行方式進行計算，計算效率較低。
注意力機制的優勢：注意力機制在計算背景向量時，擺脫了對輸出和輸入之間距離關系的依賴。其權重項通過特定計算（如key和query的計算結果）能夠很好地反映詞元之間的相關關系。更為重要的是，注意力機制支持并行計算背景向量，大大提高了計算效率。例如，在處理大規模文本數據時，循環神經網絡可能需要花費大量時間按順序處理每個時間步，而注意力機制可以同時對多個位置的信息進行處理，顯著縮短計算時間。

注意力機制算法細節

初始版本：
- 三步計算流程：
  - 計算對齊分數：對于給定的輸入i，通過特定函數f（在實際實現中，f通常為內積運算，因為內積在數學上能很好地衡量兩個張量之間的相似程度）計算所有隱藏狀態h的對齊分數。例如，假設有輸入向量i和隱藏狀態向量h，通過i和h的內積運算得到一個標量值，該值表示它們之間的對齊程度。
  - 生成權重向量：將計算得到的一系列對齊分數組成一個向量，然后對這個向量應用Softmax函數，得到權重向量WI。Softmax函數的特性使得WI的每一個元素都大于等于0，并且所有元素之和等于1，這使得WI可以作為良好的加權項。
  - 計算背景向量：使用得到的WI對隱藏狀態h進行加權平均，從而得到背景向量c。例如，假設有多個隱藏狀態h1, h2, h3…，以及對應的權重w1, w2, w3…，背景向量c = w1 * h1 + w2 * h2 + w3 * h3 +…。這個過程中，對齊分數類似于分類模型中計算的邏輯值，它反映了當前輸入與背景中每個元素的相似程度評分。
- 存在的問題：
  - 計算資源分配問題：在整個計算過程中，隱藏狀態h參與了兩處關鍵計算，一處是在對齊分數的計算，另一處是在計算背景向量時。這種重復使用可能導致h在復雜計算場景下資源分配不足，從而影響模型效果。
  - 架構依賴問題：初始版本的注意力機制緊密依附于編碼器和解碼器架構，這帶來了兩個主要問題。其一，限制了注意力機制的使用范圍，使其難以獨立應用于其他場景；其二，得到的背景向量c在功能上與原本模型中的隱藏變量h存在一定重合，導致整個模型結構變得復雜，且各組件分工不夠清晰。
改進版本：
- 獨立化設計：后續發展中，將注意力機制從特定架構中獨立出來成為一個單獨的模型組件，效果更佳。此時，對于一個文本，引入了三個關鍵張量，分別是value（v）、key（k）、query（q）。
- 新的計算流程：
  - 計算對齊分數：利用k和q來計算對齊分數。這種設計考慮到同一個詞源在背景文本和作為輸入時所表達的含義有所不同，所以分別用k表示其在背景文本中的含義，用q表示其作為輸入時的含義。
  - 生成背景向量：基于計算得到的對齊分數，對v進行加權求和，從而得到背景向量。通過這樣的設計，有效解決了短期記憶問題，因為在計算背景向量時不再受輸出與輸入距離關系的制約。與循環神經網絡的隱藏狀態計算對比，循環神經網絡隱藏狀態的權重項無法體現詞元之間的相關性，而注意力機制中k和q計算得到的權重項能夠很好地反映這種相關性。這里的v類似于詞源在不考慮文本背景時所攜帶的信息量，但具體數學公式與之前有所不同。
- 注意力機制分類：
  - 交叉注意力：主要應用于序列到序列模式。在這種模式下，k和v來自背景文本，而q來自另外一個文本。例如在機器翻譯中，源語言文本經過編碼器處理后的隱藏狀態可作為k和v，目標語言當前位置的輸入經處理后作為q。
  - 雙向注意力：此時k、v、q都來自同一個文本。在計算對齊分數時，不考慮輸入在文本中的位置，即所有位置之間的對齊分數都會正常計算。這意味著在做預測時，可以充分利用輸入之前和輸入之后的所有文本信息，所以它對應的是自編碼模式。比如在文本自動摘要任務中，模型可以利用整個文本的信息來生成摘要。
  - 單向注意力（單向自注意力）：對應自回歸模式，k、v、q同樣來自同一個文本。但在計算對齊分數時，對于當前輸入之后的那些位置，其對齊分數會被強制設為0。例如在文本生成任務中，模型在生成當前詞時，只能利用當前位置之前的文本信息，以保證生成過程的因果性。由于要實現GPT模型，后續重點關注單向自注意力機制。

注意力機制代碼實現

計算對齊分數：假設k和q形狀為BTH（其中b表示批量數據中元素的個數，t表示文本的長度，h表示特征的個數）。根據數學理論，計算對齊分數（即k和q的內積）等同于矩陣乘法。例如，若k是一個形狀為(B, T, H)的張量，q是一個形狀也為(B, T, H)的張量，將q進行轉置操作后（變為(B, H, T)），再與k進行矩陣乘法，即可得到形狀為(B, T, T)的對齊分數張量，其中縱向和橫向都表示每一個詞元，相應元素表示得到的對齊分數。
下三角矩陣與權重分布：
- 利用Softmax特性：Softmax函數對負無窮有特殊處理特性。通過示例說明，假設有一個普通張量a = [1, 2, 3]，對其應用Softmax函數后得到一個元素均為正數且和為1的張量。但當將其中一個元素改為負無窮時，例如a = [1, 2, -inf]，經過Softmax變換后，負無窮所對應的值變為0。利用這一特性，可將對齊分數矩陣轉換為下三角矩陣。
- 具體實現步驟：首先隨機生成一個方陣來模擬對齊分數矩陣。然后定義一個下三角矩陣，通過該下三角矩陣將對齊分數矩陣的上半部分全部賦值為負無窮。經過Softmax變換后，得到一個下三角矩陣，且該矩陣中每一個行向量的元素都大于等于0，并且行向量元素之和等于1，這就得到了符合要求的權重分布。例如，假設有一個對齊分數矩陣S，通過下三角矩陣mask將S的上半部分元素S[mask == 0] = -inf，再對處理后的S應用Softmax函數，即torch.softmax(S, dim = 1)，得到權重分布。
Softmax方差敏感性：
- 問題表現：Softmax函數對輸入的方差非常敏感。通過實驗，生成一個方差為1的隨機變量x，對其應用Softmax函數，得到的結果較為正常，每個分量大于0且和為1。但當將x的方差放大1000倍后，得到的Softmax結果過于集中于一點，即在某個元素上等于1，其他元素上等于0，這不是我們期望的結果。
- 解決方法：在計算對齊分數時，需要對計算結果進行歸一化處理。具體做法是除以h的平方根。例如，在計算對齊分數的代碼實現中，將原本的計算式k @ q.transpose(-2, -1)修改為(k @ q.transpose(-2, -1)) / math.sqrt(k.size(-1))，這樣處理后得到的對齊分數矩陣的標準差為1，即方差等于1。
函數定義與實現：
- 參數設置：定義一個函數，其參數包括query、value、dropout（用于防止過擬合）和mask。這里的mask起著關鍵作用，當mask為空時，實現的是雙向注意力機制；當mask是一個下三角矩陣時，實現的是單向自注意力機制。默認mask的值為None。
- 張量形狀期望：對于query和value，期望的張量形狀是BTH；對于mask，期望的張量形狀是(T, T)。輸出的張量形狀依然是BTH。
- 代碼實現細節：首先計算對齊分數，代碼實現為scores = (query @ key.transpose(-2, -1)) / math.sqrt(query.size(-1))。然后根據mask對scores進行處理，若mask不為None，則scores = scores.masked_fill(mask == 0, float(‘-inf’))。接著計算權重分布，weights = torch.softmax(scores, dim = -1)，如果設置了dropout，則weights = self.dropout(weights)。最后計算背景向量，output = weights @ value，輸出的output形狀為BTH。
單項式注意力實現：
- 類的定義：定義一個類叫做masked_attention。在初始化函數中，有兩個主要參數，分別是length（表示輸入的向量長度）和head_size（表示背景向量的長度，關于head_size名字的由來在后續深入討論中會明確）。
- 模型組件生成：生成key、query和value，這三個模型組件本質上都是線性模型。在代碼實現中，通過nn.Linear來創建，并且特別注意不需要它們的截距項。原因主要有兩點：一是在大語言模型中通常會使用殘差連接這一模型組件來加速模型訓練，這種情況下不需要截距項；二是這三個模型組件與文本嵌入類似，而文本嵌入層對應的線性模型在實現時通常也沒有截距項。例如，self.key = nn.Linear(length, head_size, bias = False)，self.query = nn.Linear(length, head_size, bias = False)，self.value = nn.Linear(length, head_size, bias = False)。
- 下三角矩陣定義：下三角矩陣在模型中起著輔助運算的作用，它本身不參與模型參數更新。通過torch.tril(torch.ones(sequence_length, sequence_length))來定義一個大的下三角矩陣，在執行向前傳播時，從這個大矩陣中截取所需的掩碼矩陣mask。例如，mask = self.mask[:x.size(1), :x.size(1)]，這里x是輸入張量。
- 隨機失活組件定義：定義隨機失活組件self.dropout = nn.Dropout(dropout)，用于防止模型過擬合。
- 向前傳播算法實現：在向前傳播函數中，首先對輸入x進行處理，得到形狀為(B, T, H)的張量。然后通過定義好的key、query和value模型組件得到相應的三個張量，即k = self.key(x)，q = self.query(x)，v = self.value(x)，它們的形狀均為(B, T, H)。接著從大下三角矩陣中截取所需的掩碼矩陣mask。需要注意的是，如果輸入的序列長度t大于預先定義的sequence_length，計算過程會報錯，這體現了注意力機制在處理序列長度上存在限制。最后調用之前定義的注意力計算函數得到最終結果，output = attention(q, k, v, mask = mask, dropout = self.dropout)，輸出的output形狀為(B, T, H)。在實際應用中，可以運行這部分代碼進行簡單測試，生成模型實例和測試數據，檢查輸出是否符合預期以及計算過程是否報錯。為了更嚴謹的測試，還可以參考第三方開源實現，對比兩者的計算結果是否一致。

注意力機制應用模式

除了經典的序列到序列模式外，注意力機制可自然地拓展到自回歸和自編碼模式。在自回歸模式中，以文本生成任務為例，模型在預測每一個詞元時，傳統方式僅依賴當下步驟對應的隱藏狀態（即所有已知隱藏狀態的最后一個），但這樣會丟失之前更多位置的信息。而引入注意力機制后，可以利用當前輸入之前的所有隱藏狀態進行預測，從而提升模型性能。在自編碼模式中，雙向注意力機制能讓模型在處理輸入時，綜合利用輸入前后的所有文本信息，例如在文本特征提取任務中，可更全面地捕捉文本的語義特征。

3. 章節總結

本章節從大語言模型背景出發，深入探討注意力機制。介紹了其產生背景，通過與循環神經網絡對比突出優勢。詳細講解了算法細節，包括初始和改進版本。在代碼實現上，逐步闡述了從計算對齊分數到最終實現單向自注意力機制的過程，還介紹了注意力機制在不同應用模式中的特點。

4. 知識點補充

最佳實踐

在實際構建大語言模型時，對于注意力機制的應用可參考以下實踐：

數據預處理階段：對輸入文本進行合理分詞和編碼，確保輸入數據適合注意力機制計算。例如，在處理長文本時，可采用滑動窗口等技術將長文本分塊處理，再分別應用注意力機制，避免一次性處理過長序列導致內存和計算資源不足。以英文文本為例，常用的分詞工具如NLTK（Natural Language Toolkit）或spaCy，能夠將連續的文本切分成有意義的單詞或子詞單元。在編碼方面，可使用字節對編碼（Byte - Pair Encoding，BPE）等方法將分詞后的結果轉換為模型能夠處理的數字表示。當面對超長文本時，設定一個合適的窗口大小，如512個詞元，每次只處理窗口內的文本塊，計算其注意力權重和相關特征，然后滑動窗口繼續處理下一部分，最后將各部分結果整合起來。這樣既能有效利用注意力機制的優勢，又能克服長序列帶來的計算挑戰。
模型搭建階段：根據任務需求選擇合適的注意力機制類型。若為文本翻譯等序列到序列任務，可優先考慮交叉注意力機制；若是文本生成等自回歸任務，單向自注意力機制更為合適。同時，合理設置多頭注意力機制的頭數，通過實驗確定最優參數，以平衡計算成本和模型性能。在文本翻譯任務中，源語言和目標語言之間存在著對應關系，交叉注意力機制能夠很好地捕捉這種跨文本的依賴關系，幫助模型在翻譯時參考源語言的整體信息。對于文本生成任務，單向自注意力機制符合文本生成的因果性，即生成當前詞時只能依賴之前已生成的詞。在設置多頭注意力機制的頭數時，一般從較小的數值如2、4開始嘗試，逐步增加頭數并觀察模型在訓練集和驗證集上的性能表現，包括損失值、準確率、BLEU（bilingual evaluation understudy）分數等指標。當頭數增加到一定程度后，模型性能提升可能不再明顯，反而會帶來計算量的大幅增加，此時可確定一個較為合適的頭數，如8或16。
訓練階段：采用合適的優化算法和超參數調整策略，如使用AdamW優化器，結合學習率衰減策略，防止模型在訓練過程中過擬合，提高注意力機制的學習效果。并且，在訓練過程中監控注意力權重分布，分析模型對不同位置元素的關注情況，以便及時調整模型結構或訓練策略。AdamW優化器是在Adam優化器的基礎上改進而來，它能夠更好地處理權重衰減問題，防止模型參數在訓練過程中過度增長導致過擬合。學習率衰減策略可以在訓練初期設置一個較大的學習率，使模型快速收斂，隨著訓練的進行，逐漸減小學習率，讓模型在接近最優解時更加穩定地收斂。例如，可采用指數衰減策略，學習率 = 初始學習率 * 衰減率 ^（當前步數 / 衰減步數）。通過可視化工具（如TensorBoard）監控注意力權重分布，觀察模型在不同訓練階段對輸入文本中各個位置詞元的關注程度。如果發現模型對某些位置或某些類型的詞元關注異常，如過度關注高頻詞而忽略低頻詞，可嘗試調整模型結構，如增加更多的注意力層或調整注意力機制的參數，或者優化訓練數據，增加低頻詞的樣本數量等。

編程思想指導

模塊化編程思想：在實現注意力機制代碼時，將不同功能模塊分開編寫，如將對齊分數計算、權重生成、背景向量計算等功能分別封裝成函數或類方法。這樣不僅使代碼結構清晰，易于維護和調試，還方便在不同項目中復用這些模塊。例如，在實現單向自注意力機制時，將生成下三角矩陣的功能封裝成一個獨立函數，在其他需要下三角矩陣的場景中也可直接調用。在Python中，可以定義一個函數generate_triangular_mask，輸入為序列長度，函數內部通過torch.tril(torch.ones(seq_length, seq_length))生成下三角矩陣并返回。在注意力機制的主函數中，當需要生成掩碼矩陣時，直接調用generate_triangular_mask函數即可。對于對齊分數計算，可定義一個compute_attention_scores函數，輸入為query和key張量，內部實現矩陣乘法和歸一化操作，返回計算得到的對齊分數張量。通過這種模塊化設計，當需要修改某一功能的實現細節時，只需在對應的模塊中進行調整，而不會影響到整個代碼的其他部分。
抽象與泛化思想：從注意力機制的多種應用模式中抽象出通用的計算邏輯，將其設計為可配置參數的通用函數或類。比如，通過傳入不同的mask參數，使同一個注意力機制實現函數既能處理單向自注意力，也能處理雙向自注意力和交叉注意力。這樣在面對不同的任務和數據時，代碼具有更好的適應性和擴展性。以實現注意力機制的類為例，在類的初始化函數中接收一個mask_type參數，根據這個參數的值來決定生成何種類型的掩碼矩陣。如果mask_type為’unidirectional’，則生成下三角矩陣用于單向自注意力；如果為’bidirectional’，則生成全1矩陣（即不進行掩碼操作）用于雙向自注意力；如果為’cross’，則根據具體的交叉注意力場景生成相應的掩碼矩陣。在類的前向傳播函數中，根據生成的掩碼矩陣進行后續的注意力計算。這樣，通過簡單地修改mask_type參數，就可以將同一個類應用于不同的注意力機制場景，大大提高了代碼的復用性和靈活性。
性能優化思想：考慮到注意力機制的計算量較大，在編碼過程中注重性能優化。例如，合理利用矩陣運算庫（如PyTorch或TensorFlow中的矩陣運算函數）進行并行計算，減少循環操作；在計算對齊分數時，通過歸一化等操作避免數值不穩定問題，提高計算效率和穩定性。同時，在處理大規模數據時，采用分布式計算或模型并行策略，提升模型訓練和推理速度。在PyTorch中，矩陣乘法操作torch.matmul比使用Python循環實現的矩陣乘法快得多，因為它利用了底層的CUDA（Compute Unified Device Architecture）加速庫進行并行計算。在計算對齊分數時，除以特征維度的平方根進行歸一化，這不僅能保證數值穩定性，還能使Softmax函數的輸出分布更加合理。當處理大規模數據時，可采用分布式訓練框架，如Horovod，它能夠將訓練數據分布到多個計算節點上并行處理，大大縮短訓練時間。對于模型并行策略，可以將模型的不同層分配到不同的計算設備（如多個GPU）上進行計算，避免單個設備內存不足的問題，同時提高計算效率。例如，將注意力機制層和后續的前饋神經網絡層分別放在不同的GPU上進行計算，通過合理的數據傳輸和同步機制，實現模型的高效運行。

5. 程序員面試題

簡單題

請簡述注意力機制的基本思想。
答案：注意力機制的基本思想是將編碼器所有隱藏狀態合起來，通過計算當前輸入對每個隱藏狀態的權重，加權平均得到背景向量，作為解碼器的附加輸入，從而解決傳統架構中定長隱藏狀態難以表示所有信息以及遠距離詞源信息丟失的問題。

中等難度題

對比循環神經網絡和注意力機制在處理序列數據時的優缺點。
答案：
- 循環神經網絡：優點是能處理不定長序列，可捕捉序列中的時間依賴關系；缺點是隨著序列增長，遠距離詞源對隱藏狀態貢獻信息少，存在梯度消失或梯度爆炸問題，且計算通常是串行的，效率較低。
- 注意力機制：優點是計算背景向量時不依賴輸入輸出距離，權重項能反映詞元相關關系，背景向量可并行計算，計算效率高；缺點是處理序列長度有限制，依賴特定架構時可能導致模型結構復雜。
解釋多頭注意力機制的工作原理及其優勢。
答案：
- 工作原理：將輸入投影到多個子空間，每個子空間獨立進行注意力計算，即分別計算每個子空間的對齊分數、權重和背景向量，最后將各個子空間的結果拼接起來。在具體實現中，通過多個線性變換將輸入分別轉換為多個不同的query、key和value張量，然后對每個子空間的query、key和value執行常規的注意力計算流程，最后將所有子空間的輸出按特定維度拼接。
- 優勢：能同時關注輸入序列的不同方面，捕捉更豐富的信息，提高模型的表示能力和性能，有助于模型學習到更復雜的模式和關系。不同的頭可以關注輸入的不同特征，例如在文本處理中，有的頭關注語義信息，有的頭關注語法結構信息，綜合起來使模型對文本的理解更全面。

高難度題

在實現注意力機制代碼時，如何優化計算以提高效率和穩定性？請詳細說明。
答案：
- 計算優化：
  - 利用矩陣運算庫進行并行計算，例如在計算對齊分數時，將向量運算轉換為矩陣乘法，充分利用GPU等并行計算設備的優勢，提高計算速度。在PyTorch中，使用torch.matmul函數進行矩陣乘法，相比于使用Python循環實現的向量運算，能夠極大地加速計算過程，因為torch.matmul會自動調用GPU的并行計算資源。
  - 避免不必要的循環操作，如在生成下三角矩陣和計算權重分布時，盡量使用向量化操作，減少計算開銷。例如，生成下三角矩陣時，使用torch.tril(torch.ones(seq_length, seq_length))這種向量化操作，而不是通過循環逐個元素賦值。計算權重分布時，對整個分數矩陣直接應用Softmax函數，而不是循環處理每個元素。
- 穩定性優化：
  - 在計算對齊分數時，除以特征維度h的平方根進行歸一化，保證輸入Softmax函數的方差為1，防止結果過于集中，提高數值穩定性。這是因為Softmax函數對輸入的數值范圍較為敏感，歸一化可以使輸入數值處于一個合理的范圍，使得Softmax的輸出分布更加穩定和合理。
  - 合理處理數值范圍，例如在將對齊分數矩陣上半部分賦值為負無窮時，確保數值在計算機可表示范圍內，避免溢出或下溢問題。在實際編程中，使用系統提供的表示負無窮的常量（如Python中float('-inf')），并且在進行大規模矩陣運算時，注意數據類型的選擇和數值范圍的監控，防止出現數值異常導致計算錯誤。
設計一個基于注意力機制的文本分類模型，闡述模型架構、關鍵組件及其作用，并給出簡要的代碼實現思路（使用Python和PyTorch框架）。
答案：
- 模型架構：模型可由嵌入層、注意力層、全連接層組成。
- 關鍵組件及其作用：
  - 嵌入層：將文本中的每個詞轉換為向量表示，捕捉詞的語義信息。通過查找預訓練的詞向量表（如Word2Vec、GloVe等）或在訓練過程中學習詞向量，將輸入的離散詞轉換為連續的向量表示，使得模型能夠處理和理解文本中的語義內容。
  - 注意力層：采用自注意力機制，計算文本中各個詞之間的注意力權重，突出重要詞匯，使模型能關注到文本中不同位置的關鍵信息。通過計算每個詞與其他詞之間的注意力分數，生成權重向量，對文本的詞向量表示進行加權求和，從而突出與文本分類任務相關的重要詞匯的特征。
  - 全連接層：對注意力層輸出進行分類，得到文本分類結果。將注意力層輸出的特征向量映射到類別空間，通過一系列的線性變換和激活函數，輸出每個類別的預測概率。
- 代碼實現思路：

import torch
import torch.nn as nnclass AttentionTextClassifier(nn.Module):def __init__(self, vocab_size, embedding_dim, hidden_dim, num_classes):super(AttentionTextClassifier, self).__init__()self.embedding = nn.Embedding(vocab_size, embedding_dim)self.attention = nn.MultiheadAttention(embedding_dim, num_heads = 1)self.fc = nn.Linear(embedding_dim, num_classes)def forward(self, x):x = self.embedding(x)x = x.permute(1, 0, 2)  # 調整維度順序以適應注意力層輸入attn_output, _ = self.attention(x, x, x)attn_output = attn_output.mean(dim = 0)  # 對注意力輸出求平均output = self.fc(attn_output)return output

在上述代碼中，vocab_size是詞匯表大小，embedding_dim是詞向量維度，hidden_dim是隱藏層維度，num_classes是分類類別數。首先通過嵌入層將輸入文本轉換為向量，然后經過多頭自注意力層，對注意力輸出求平均后通過全連接層進行分類。

BV1DW421R7rz

代碼

import torch
import torch.nn as nn
import torch.optim as optim
from torch.utils.data import Dataset, DataLoader
import numpy as np# 自定義數據集類
class TextDataset(Dataset):def __init__(self, texts, labels):# 初始化文本數據和標簽self.texts = textsself.labels = labelsdef __len__(self):# 返回數據集的長度return len(self.texts)def __getitem__(self, idx):# 根據索引獲取數據集中的文本和標簽text = torch.tensor(self.texts[idx], dtype=torch.long)label = torch.tensor(self.labels[idx], dtype=torch.long)return text, label# 基于注意力機制的文本分類模型類
class AttentionTextClassifier(nn.Module):def __init__(self, vocab_size, embedding_dim, hidden_dim, num_classes, num_heads=1):# 調用父類的構造函數super(AttentionTextClassifier, self).__init__()# 嵌入層，將文本中的每個詞轉換為向量表示self.embedding = nn.Embedding(vocab_size, embedding_dim)# 多頭注意力層，計算文本中各個詞之間的注意力權重self.attention = nn.MultiheadAttention(embedding_dim, num_heads)# 全連接層，對注意力層輸出進行分類self.fc = nn.Linear(embedding_dim, num_classes)def forward(self, x):# 通過嵌入層將輸入文本轉換為向量x = self.embedding(x)# 調整維度順序以適應注意力層輸入x = x.permute(1, 0, 2)# 經過多頭注意力層，得到注意力輸出和注意力權重attn_output, _ = self.attention(x, x, x)# 對注意力輸出求平均attn_output = attn_output.mean(dim=0)# 通過全連接層進行分類output = self.fc(attn_output)return output# 訓練模型的函數
def train_model(model, train_loader, criterion, optimizer, device, epochs):# 將模型設置為訓練模式model.train()for epoch in range(epochs):running_loss = 0.0for texts, labels in train_loader:# 將數據移動到指定設備（如 GPU）texts = texts.to(device)labels = labels.to(device)# 清零梯度optimizer.zero_grad()# 前向傳播，得到模型的輸出outputs = model(texts)# 計算損失loss = criterion(outputs, labels)# 反向傳播，計算梯度loss.backward()# 更新模型參數optimizer.step()running_loss += loss.item()# 打印每個 epoch 的損失print(f'Epoch {epoch + 1}/{epochs}, Loss: {running_loss / len(train_loader)}')# 評估模型的函數
def evaluate_model(model, test_loader, device):# 將模型設置為評估模式model.eval()correct = 0total = 0with torch.no_grad():for texts, labels in test_loader:# 將數據移動到指定設備texts = texts.to(device)labels = labels.to(device)# 前向傳播，得到模型的輸出outputs = model(texts)# 獲取預測的類別_, predicted = torch.max(outputs.data, 1)total += labels.size(0)correct += (predicted == labels).sum().item()# 計算準確率accuracy = 100 * correct / totalprint(f'Accuracy: {accuracy}%')# 主函數
if __name__ == "__main__":# 超參數設置vocab_size = 10000embedding_dim = 128hidden_dim = 128num_classes = 2num_heads = 1epochs = 10batch_size = 32learning_rate = 0.001# 模擬生成一些訓練數據num_samples = 1000texts = [np.random.randint(0, vocab_size, 10) for _ in range(num_samples)]labels = np.random.randint(0, num_classes, num_samples)# 創建數據集和數據加載器dataset = TextDataset(texts, labels)train_size = int(0.8 * len(dataset))test_size = len(dataset) - train_sizetrain_dataset, test_dataset = torch.utils.data.random_split(dataset, [train_size, test_size])train_loader = DataLoader(train_dataset, batch_size=batch_size, shuffle=True)test_loader = DataLoader(test_dataset, batch_size=batch_size, shuffle=False)# 檢查是否有可用的 GPUdevice = torch.device("cuda" if torch.cuda.is_available() else "cpu")# 創建模型實例，并將其移動到指定設備model = AttentionTextClassifier(vocab_size, embedding_dim, hidden_dim, num_classes, num_heads).to(device)# 定義損失函數和優化器criterion = nn.CrossEntropyLoss()optimizer = optim.Adam(model.parameters(), lr=learning_rate)# 訓練模型train_model(model, train_loader, criterion, optimizer, device, epochs)# 評估模型evaluate_model(model, test_loader, device)

代碼說明

TextDataset 類：繼承自 torch.utils.data.Dataset，用于封裝文本數據和對應的標簽，方便后續使用 DataLoader 進行批量加載。
AttentionTextClassifier 類：定義了基于注意力機制的文本分類模型，包含嵌入層、多頭注意力層和全連接層。
train_model 函數：用于訓練模型，在每個 epoch 中進行前向傳播、損失計算、反向傳播和參數更新。
evaluate_model 函數：用于評估模型的準確率，在測試集上進行預測并計算準確率。
主函數：設置超參數，生成模擬數據，創建數據集和數據加載器，定義模型、損失函數和優化器，然后進行模型訓練和評估。