把標量到張量、點積到范數全串起來，幫你從 0 → 1 搭建 AI 數學底座 🚀

1 標量：深度學習的最小單元

標量 就是一維空間里的“點”，只有大小沒有方向。例如溫度 52 °F、學習率 0.001。

• 記號：普通小寫 x；域：x ∈ ?
• 代碼：torch.tensor(3.0)
  在網絡中，標量常作為超參數或單一輸出出現（如二分類概率）。它讓后續向量、矩陣的世界有了可度量的起點。

📊 標量由只有一個元素的張量表示。下面的代碼將實例化兩個標量，并執行一些熟悉的算術運算，即加法、乘法、除法和指數。

2 向量：特征打包者

把多個標量排成一列就是 向量。大小 + 方向 = 能描述“狀態”。

• 記號：粗體小寫 x，維度 n → x ∈ ??
• 用途：一條用戶畫像、一幀心電圖、一張詞嵌入
• 代碼：torch.arange(4) → tensor([0,1,2,3])
  向量讓模型一次性“看見”多特征，用長度（維度）衡量信息量 👍。

3 矩陣：表格數據的萬能容器

矩陣 是“批量向量”或“二維表”。

• 記號：粗體大寫 A ∈ ?^{m×n}
• 行表示樣本，列表示特征；深度學習 mini-batch 自然采用行批次
• 核心操作：轉置 A.T、索引 A[i,j]、對稱性檢查 A==A.T
  矩陣讓 GPU 并行沖浪，線性層的權重本質就是矩陣乘法權值🎯。

📊 可以通過行索引（i）和列索引（j）來訪問矩陣中的標量元素，

4 張量：多維世界的坐標系

再在矩陣外加軸，就得到 張量。

• 3D 圖像：(C,H,W)；視頻：(T,C,H,W)
• 代碼：torch.arange(24).reshape(2,3,4)
  張量是 PyTorch 的一等公民，支持廣播、切片、視圖變換，讓高階數據和算子自然對齊。

📊 張量是描述具有任意數量軸的n維數組的通用方法。例如，向量是一階張量，矩陣是二階張量。張量用特殊字體的大寫字母表示（例如，X、Y和Z）

5 按元素運算與 Hadamard 積：并行的力量

同形狀張量可逐元素加減乘除：

• Hadamard 積 A ⊙ B = A * B → 特征級交互
• 標量 + 張量：自動廣播，不改變形狀
  GPU 核心一次算 N 個元素，秒殺循環，真正體現“向量化編程”🔥。

📊 兩個矩陣的按元素乘法稱為Hadamard積（Hadamard product）（數學符號⊙）

6 降維：從海量數據中找平均

求 sum / mean / cumsum 可沿指定軸“折疊”張量：

• A.sum(axis=0) → 列匯總；keepdims=True 保維度
• 用于 softmax 歸一化、特征池化、全局平均池化
  降維技術讓模型聚焦信息密度，減小參數量同時抑制過擬合。

7 點積：度量相似度的核心操作

兩向量 x·y = Σ xi yi：

• 加權和（權重非負且和為1）

• 余弦相似度（單位向量時）

• 代碼：torch.dot(x,y) 或 (x*y).sum()
  點積是注意力機制、Word2Vec 的基石，對齊“相關性”就靠它。

  點積的本質是相似性，余弦相似度的本質是方向相似性，因為余弦是單位向量的點積，規范化消除了長度影響。

📊 給定兩個向量x, y ，它們的點積是相同位置的按元素乘積的和

8 矩陣-向量積：線性變換的快速電梯

Ax 把 x ∈ ?? 變成 ??：

• 每行 a? 與 x 點積，得到新向量元素
• PyTorch：torch.mv(A,x)
  這是全連接層 forward 的數學本質，也能表示旋轉、縮放等幾何變換。

9 矩陣-矩陣乘法：批量線性映射

AB 可看作 m 次矩陣-向量乘再拼接：

• 形狀要求：A(n×k) · B(k×m) → C(n×m)
• 代碼：torch.mm(A,B)
  矩陣乘是多頭注意力、卷積的幕后英雄，使并行度再上層樓。

📊 矩陣‐矩陣乘法AB看作簡單地執行m次矩陣‐向量積，并將結果拼接在一起，形成一個n × m矩陣

10 范數：給向量量身定做的尺子

• L2 范數 ∥x∥? = √Σ xi2 → 距離、正則化；torch.norm(x)
• L1 范數 ∥x∥? = Σ|xi| → 稀疏性，抗離群

向量的范數是表示一個向量有多大

歐幾里得距離就是L2范數 代表真實距離 用于kmeans算法等 余弦相似度用于文本相似性 因為它代表方向

范數和 目標函數 密切相關：L2 正則抑制大權重，L1 促稀疏，在深度學習中我們經常試圖解決優化問題：最大化分配給觀測數據的概率; 最小化預測和真實觀測之間的距離。用向量表示物品（如單詞、產品或新聞文章），以便最小化相似項目之間的距離，最大化不同項目之間的距離。目標，或許是深度學習算法最重要的組成部分（除了數據），通常被表達為范數。

概念	公式/操作	實戰意義
標量	c = 5/9(f-32)	超參數/單輸出
向量	x ∈ ??	用戶畫像
矩陣	A ∈ ?^{m×n}	批次數據
張量	(N,C,H,W,…)	圖像/視頻
Hadamard 積	A⊙B	特征交互
降維	sum/mean	池化歸一
點積	x·y	相似度
范數	∥x∥?/?/?	正則化

📊 上表濃縮 8 大核心要素，橫向對照“公式 → 作用 → 應用”，幫你一眼鎖定線性代數在深度學習中的落地場景。讀表時先關注左列概念，再往右看公式和實戰意義

                 | ∥x∥?/?/?        | 正則化     |

📊 上表濃縮 8 大核心要素，橫向對照“公式 → 作用 → 應用”，幫你一眼鎖定線性代數在深度學習中的落地場景。讀表時先關注左列概念，再往右看公式和實戰意義