在自然語言處理（NLP）領域中，循環神經網絡（RNN）及衍生架構（如LSTM）采用序列依序計算的模式，這種模式之所以“限制了計算機并行計算能力”，核心原因在于其時序依賴的特性：

1. 序列依序計算的本質

RNN/LSTM處理序列數據（如句子）時，每個時刻的計算依賴于前一時刻的隱藏狀態。例如，處理句子“我愛自然語言處理”時，需按“我→愛→自然→語言→處理”的順序依次計算，每個時刻的輸出必須等前一時刻計算完成后才能進行。

2. 并行計算的限制原理

• 硬件并行性浪費：現代GPU/TPU等加速器擅長同時處理多個獨立任務（如矩陣運算），但RNN的序列計算中，每個時刻的計算像“鏈條”一樣環環相扣，無法將不同時刻的計算拆分成獨立任務并行執行。例如，無法同時計算時刻t和時刻t+1的隱藏狀態，因為時刻t+1的輸入依賴于時刻t的結果。
• 內存與計算瓶頸：序列越長，依賴鏈越長，計算延遲越高。例如，處理長度為1000的句子時，需完成前999個時刻的計算后才能處理第1000個時刻，導致大量計算資源（如GPU核心）處于閑置狀態。

3. 對比：Transformer的并行突破

Transformer架構通過自注意力機制打破了時序依賴：

• 自注意力允許模型同時計算序列中所有token的關聯（如“我愛自然語言處理”中“我”與“處理”的語義關系），無需按順序處理，可將整個序列的計算轉化為矩陣乘法，充分利用GPU的并行計算能力。
• 例如，處理長度為n的序列時，Transformer的計算復雜度為O(n2)，但可通過矩陣運算一次性完成所有token的注意力權重計算，而RNN的復雜度為O(n)但必須串行執行。

總結

RNN/LSTM的序列依序計算模式如同“排隊辦事”，每個步驟必須等待前一步完成，導致并行計算資源無法充分利用；而Transformer通過自注意力實現“并行辦公”，大幅提升了計算效率，這也是其成為現代大語言模型（LLM）核心架構的重要原因之一。