2.1 標量、向量、矩陣和張量

• 標量(scalar)

一個標量就是一個單獨的數，用斜體表示標量。

• 向量(vector)

一個向量是一列有序排列的數，用粗寫的小寫字母表示。

• 矩陣(matrix)

矩陣式一個二維數組，其中的么一個元素由兩個索引(而非一個)所確定，用粗體的大寫字母表示。特別地，

表示

中垂直坐標

上的一橫排元素，即

的第

行；

表示

的第

列。

轉置(transpose)
矩陣的轉置是以主對角線為軸的鏡像。

廣播(broadcasting)

，其中

，即向量b和矩陣的每一行相加，這種操作稱為廣播。

• 張量(tensor)

一般地，一個數組中的元素分布在若干維坐標的規則網格中，稱之為張量。使用A表示張量。

2.2 矩陣和向量相乘

，定義為

注意
(1) 兩個矩陣的標準乘積不是指兩個矩陣中對應元素的乘積;
(2) 兩個向量的點積

可以看作矩陣的乘積

;

(3) 兩個向量的點積滿足交換律：

;

(4) 分配律：

;

(5) 結合律：

;

(6)

;

(7)

不常有。

元素對應乘積(element-wise product)或者Hadamard乘積(Hadamard product)。

2.3 單位矩陣和逆矩陣

• 單位矩陣(identity matrix)

任意向量和單位矩陣相乘都不會改變。

• 逆矩陣(matrix inversion)

的逆矩陣記為

，

。

注意：
只有方陣才具有逆矩陣，否則叫偽逆。

2.4 線性相關和生成子空間

• 線性組合(linear combination)

理解

。

如果

存在，則對于每一個向量

恰好存在一個解。但對于方程組而言，對于

的某些值，可能不存在解，也可能存在無限多個解，若

和

都是某方程組的解，則

也是該方程組的解(

為任意實數)。

為了分析方程有多少個解，可以將

的列向量看作從

原點(origin)(元素都是零的向量)出發的不同方向，確定有多少種方法能夠到達向量

。在這一觀點下，向量

中的每一個元素表示我們應該沿著這些方向走多遠，即

表示我們需要沿著第

個向量的方向走多遠:

• 生成子空間(span)

一組向量的線性組合，是指每個向量乘以對應標量系數之后的和，即:

確定

是否有解，相當于確定向量

是否在

列向量的生成子空間中，這個特殊的子空間被稱為

的

列空間(column space)或者

的

值域(range)。

• 線性相關和線性無關

如果一組向量中的任意一個向量能表示成其他向量的線性組合，則這組向量稱為線性相關(linear dependence)，反之稱為線性無關(linear dependence)。

• 奇異矩陣

列向量線性相關的矩陣稱為奇異矩陣，否則稱為非奇異矩陣。

2.5 范數

• 范數定義

，其中

，

。

• 歐幾里德范數和
  范數

歐幾里德范數：用于衡量向量的大小；

范數：當機器學習中零和非零元素之間的差異非常重要時，通常會使用

范數。每當

中某個元素從0增加

，對應的

范數也會增加

。

• Frobenius范數(Frobenius norm)

• 點積和范數

2.6 特殊類型的矩陣和向量

• 對角矩陣(diagonal matrix)

并非所有的對角矩陣都為方陣，長方形的矩陣也可能是對角陣，非方陣的對角矩陣沒有逆矩陣。對于長方形對角陣

而言，乘法

涉及

中每個元素的縮放，若

為瘦長形矩陣，那么縮放后的末尾加一些零，若

為胖寬形矩陣，那么在縮放后去掉最后一些元素。

• 對稱矩陣(symmetric matrix)

• 單位向量(unit vector)

單位向量是具有單位范數的向量，即

。

• 正交(orthogonal)

標準正交：

，且

。

• 正交陣(orthogonal matrix)

，即

。

2.7 特征分解(eigendecomposition)

• 特征分解

與整數的分解進行對比，整數分解是為了找整數內在的性質。可通過分解矩陣發現矩陣表示成數組元素時不明顯的函數性質。

，其中

是

的特征向量組成的正交矩陣，

是對角矩陣。特征值

對應的特征向量是矩陣

的第

列，記作

。因為

是正交矩陣，可以將

看作沿方向

延展

倍的空間。

• 正定(positive definite)

實對稱矩陣的特征值分解可以用于優化二次方程

(

)，其中限制

。當

等于

的某個特征向量時，

將返回對應的特征值。在限制條件下，函數

的最大值是最大特征值，最小值是最小特征值。

正定：

;

半正定：

;

負定：

;

半負定：

;

2.8 奇異值分解(SVD)

• 奇異值分解與特征分解

a、每一個實數矩陣都有一個奇異值分解，但不一定都有特征分解；
b、公式
特征分解：

奇異值分解：

2.9 Moore-Penrose偽逆

• 求偽逆

，其中

為SVD分解，

是對角矩陣

的偽逆，是其非零元素取倒數之后再轉置得到。

解的不同情形
a、A的列數多于行數
用偽逆求得的

是眾多可能解的一種，

是方程

的可行解中

最小的一個。

b、A的行數多于列數
可能沒有解。通過偽逆得到的

使得

和

的歐幾里德距離最小(

最小)，這里

。

2.10 跡運算

• 定義

• Frobenius范數

• 性質

;

;

;

標量的跡為本身:

;

2.11 行列式

• 計算

行列式等于矩陣特征值的乘積
行列式的絕對值可以用來衡量舉證參與矩陣乘法后空間擴大或縮小了多少。

2.12 PCA

設

空間中有m個點

，要壓縮這些點，用更少的內存，損失一些精度去存儲這些點。并希望損失的精度盡可能少一些，編碼這些點是用低維表示，對于每個點

，會有一個對應的編碼向量，

,

則可以用更少的內存存儲原數據。

目的：找到編碼函數，根輸入返回編碼

，找到編碼函數，給定編碼重構輸入

。為簡化編碼器，使用矩陣將編碼映射會

，即：

，其中

是解碼矩陣，且

中所有列向量都有單位范數，即

，且正交。

首先需要明確如何根據每一個輸入

得到一個最有編碼

。可以最小化原始輸入向量

和重構向量

之間的距離。

用

范數：

用平方

范數代替

范數:

因

,故:

因

為標量，故：

因

不依賴于

，問題轉化為：

。

因

，則：

因

為正交矩陣，且其列向量有單位范數，即

，則：

即求

的最小值

因

是非負的且平方在非負值上是單調的，因此可以通過向量微積分求最小值：

即編碼函數為：

定義PCA重構操作：

推而廣之，需要最小化所有維數和所有點上的誤差矩陣的Frobenius范數：

當

時，

為一個單一向量

，則：

因為

為標量，等價于：

將表示個點的向量堆疊成一個矩陣，記為

，其中

。原問題可以重新表述為：

暫不考慮約束問題，可以將Frobenius范數簡化成下面的形式：

因為

，上式等于:

因為與

無關的項不影響argmin，跡中相乘矩陣的順序不影響結果，上式等價于：

此時，再來考慮約束條件：

因為約束條件，上式等價于:

這個優化問題可以通過特征分解來求解，最優的

是

最大特征值對應的特征向量。

以上

的情況，得到了第一個主成。