1. Transformer架構與注意力機制

概念解析
Transformer是LLM的核心架構，由編碼器和解碼器組成，其核心創新是自注意力機制，通過計算輸入序列中每個位置的關聯權重，動態聚焦關鍵信息。自注意力機制的計算復雜度為O(n2)，在處理長序列時成為性能瓶頸。

代碼示例：基礎Transformer模塊

import torch
import torch.nn as nn
import torch.nn.functional as