行列式 det

行列式定義參考

$$det(A)=\sum _{i_1,i_2,?,i_n}(?1{)}^{\sigma (i_1,?,i_n)}{a}_{1,i_1}{a}_{2,i_2},?,a_{n,i_n}$$
$i_1,?,i_n$ 是 $1,?,n$ 的排列.

參數
x (Tensor)：輸入一個或批量矩陣。x 的形狀應為 [*, M, M]，其中 * 為零或更大的批次維度，數據類型支持 float32、float64。

返回
Tensor，輸出矩陣的行列式值 Shape 為 [*] 。

多個方陣的行列式

import paddle
paddle.seed(2023)
x =  paddle.randn([4,3,3])
A = paddle.linalg.det(x)
print(A)

常用方陣的行列式：

import paddle
paddle.seed(2023)
x =  paddle.randn([3,3])
A = paddle.linalg.det(x)
print(A)

矩陣的范數 norm

矩陣的算子范數

矩陣的算子范數（也稱為矩陣范數或誘導范數）是衡量矩陣作為線性算子作用在向量上的“放大”程度的一種度量。算子范數依賴于向量范數的定義，常見的算子范數包括以下幾種：

1. 2-范數（譜范數）：
   矩陣的2-范數是矩陣最大奇異值或最大特征值的絕對值。對于矩陣 $A$ ，2-范數定義為：
   $$\Vert A{\Vert }_2={\sigma }_{\max }(A)$$
   其中 ${\sigma }_{\max }(A)$ 是矩陣 $A$ 的最大奇異值。2-范數也是矩陣作為線性算子在歐幾里得空間中最大“拉伸”效果的度量。
2. 1-范數：
   矩陣的1-范數是矩陣列向量1-范數的最大值。對于矩陣 $A$ ，1-范數定義為：
   $$\Vert A{\Vert }_1=\underset{\Vert x{\Vert }_1=1}{\max }\Vert Ax{\Vert }_1$$
   這實際上是矩陣列向量的絕對和的最大值。
3. $\infty$-范數（無窮范數）：
   矩陣的$\infty$-范數是矩陣行向量1-范數的最大值。對于矩陣 $A$ ，$\infty$-范數定義為：
   $$\Vert A{\Vert }_{\infty }=\underset{\Vert x{\Vert }_{\infty }=1}{\max }\Vert Ax{\Vert }_{\infty }$$
   這實際上是矩陣行向量的絕對和的最大值。
4. p-范數：
   更一般地，可以定義矩陣的p-范數。對于矩陣 $A$ ，p-范數定義為：
   $$\Vert A{\Vert }_p=\underset{\Vert x{\Vert }_p=1}{\max }\Vert Ax{\Vert }_p$$
   其中 $p$ 是一個正實數。當 $p=2$ 時，就是2-范數（譜范數）。
   算子范數的性質：

• 正定性：對于任意矩陣 $A$，都有 $\Vert A\Vert \ge 0$，且 $\Vert A\Vert =0$ 當且僅當 $A=0$。
• 齊次性：對于任意矩陣 $A$ 和標量 $c$，都有 $\Vert cA\Vert =|c|\Vert A\Vert$。
• 三角不等式：對于任意矩陣 $A$ 和 $B$，都有 $\Vert A+B\Vert \le \Vert A\Vert +\Vert B\Vert$。
• 相容性：對于任意矩陣 $A$ 和 $B$，都有 $\Vert AB\Vert \le \Vert A\Vert \Vert B\Vert$。

矩陣的核范數

矩陣的核范數（Nuclear Norm）是矩陣理論中的一個重要概念，特別是在低秩矩陣恢復和壓縮感知等領域。核范數是矩陣奇異值之和，它可以看作是矩陣的秩的一種凸近似。
對于任意矩陣 $A\in {\mathbb{R}}^{m\times n}$，其核范數定義為：
$$\Vert A{\Vert }_{?}=\sum _{i=1}^{\min (m,n)}{\sigma }_i(A)$$
其中，${\sigma }_i(A)$表示矩陣 $A$ 的第 $i$ 個奇異值，奇異值是矩陣 $A$ 的奇異值分解（SVD）中的非負對角元素。
核范數的一些重要性質包括：

1. 凸性：核范數是矩陣秩的凸包絡，這意味著它是秩函數的最小凸近似。在優化問題中，使用核范數可以使得問題變得可解，因為秩函數是非凸的，而核范數是凸的。
2. ** lipschitz連續性**：核范數是 lipschitz連續的，這意味著對于任意兩個矩陣 $A$ 和 $B$，存在常數 $L$ 使得：
   $$\Vert A{\Vert }_{?}?\Vert B{\Vert }_{?}\Vert \le L\Vert A?B{\Vert }_F$$
   其中 ( | \cdot |_F ) 表示 Frobenius 范數。
3. 矩陣逼近：在給定矩陣的核范數約束下，最優的低秩逼近可以通過矩陣的奇異值軟閾值化實現。這意味著核范數在低秩矩陣逼近問題中起著關鍵作用。

矩陣的Frobenius范數

矩陣的F范數，也稱為Frobenius范數，是矩陣元素平方和的平方根。它將矩陣視為一個長向量，并計算其歐幾里得范數。對于任意矩陣 $A\in {\mathbb{R}}^{m\times n}$，其Frobenius范數定義為：
$$\Vert A{\Vert }_F=\sqrt{\sum _{i=1}^m\sum _{j=1}^n|a_{ij}{|}^2}$$
其中，$a_{ij}$ 表示矩陣 $A$ 的第 $i$ 行第 $j$ 列的元素。
Frobenius范數的一些重要性質包括：

1. 與核范數的關系：對于任意矩陣 $A$，有 $\Vert A{\Vert }_{?}\le \Vert A{\Vert }_F$，其中 $\Vert A{\Vert }_{?}$表示矩陣的核范數。
2. 與2-范數的關系：對于矩陣 $A$ ，其Frobenius范數等于其向量化的2-范數，即 $\Vert A{\Vert }_F=\Vert vec(A){\Vert }_2$，其中 $vec(A)$ 表示將矩陣 $A$ 按列堆疊成向量。

paddle.linalg.norm(x, p=None, axis=None, keepdim=False, name=None)

將計算給定 Tensor 的矩陣范數（Frobenius 范數, Nuclear 范數或 p 范數）和向量范數（向量 1 范數、2 范數、或者通常的 p 范數）。

該函數計算的是向量范數還是矩陣范數，確定方法如下: - 如果 axis 是 int 類型，計算向量范數 - 如果 axis 是二維數組，計算矩陣范數 - 如果 axis 為 None，x 會被壓縮成一維向量然后計算向量范數

Paddle 支持以下范數:

參數
x (Tensor) - 輸入 Tensor。維度為多維，數據類型為 float32 或 float64。

p (int|float|string，可選) - 范數(ord)的種類。目前支持的值為fro(Frobenius范數) 、 nuc（核范數）、inf、-inf、0、1、2，和任何實數 p 對應的 p 范數。默認值為 None。

axis (int|list|tuple，可選) - 使用范數計算的軸。如果 axis 為 None，則忽略 input 的維度，將其當做向量來計算。如果 axis 為 int 或者只有一個元素的 list|tuple，norm API 會計算輸入 Tensor 的向量范數。如果 axis 為包含兩個元素的 list，API 會計算輸入 Tensor 的矩陣范數。當 axis < 0 時，實際的計算維度為 rank(input) + axis。默認值為 None 。

keepdim (bool，可選) - 是否在輸出的 Tensor 中保留和輸入一樣的維度，默認值為 False。當 keepdim 為 False 時，輸出的 Tensor 會比輸入 input 的維度少一些。

name (str，可選) - 具體用法請參見 Name，一般無需設置，默認值為 None。

返回
Tensor，在指定 axis 上進行范數計算的結果，與輸入 input 數據類型相同。

import paddle
x = paddle.arange(24, dtype="float32").reshape([2, 3, 4]) - 12
print(x)# compute frobenius norm along last two dimensions.
out_fro = paddle.linalg.norm(x, p='fro', axis=[0,1])
print(out_fro)# compute 2-order vector norm along last dimension.
out_pnorm = paddle.linalg.norm(x, p=2, axis=-1)
print(out_pnorm)# compute 2-order  norm along [0,1] dimension.
out_pnorm = paddle.linalg.norm(x, p=2, axis=[0,1])
print(out_pnorm)# compute inf-order  norm
out_pnorm = paddle.linalg.norm(x, p=float("inf"))
print(out_pnorm)out_pnorm = paddle.linalg.norm(x, p=float("inf"), axis=0)
print(out_pnorm)# compute -inf-order  norm
out_pnorm = paddle.linalg.norm(x, p=-float("inf"))
print(out_pnorm)out_pnorm = paddle.linalg.norm(x, p=-float("inf"), axis=0)
print(out_pnorm)

條件數 cond

$$\mathrm{cond}(A,p)=\underset{x\ne 0}{\sup }\frac{\Vert A{\Vert }_p}{\Vert A^{?1}{\Vert }_p}$$
其中 $\Vert ?{\Vert }_p$ 是矩陣的 $p$ 范數。

根據范數種類 p 計算一個或一批矩陣的條件數，也可以通過 paddle.cond 來調用。

參數
x (Tensor)：輸入可以是形狀為 (, m, n) 的矩陣 Tensor， * 為零或更大的批次維度，此時 p 為 2 或 -2；也可以是形狀為 (, n, n) 的可逆（批）方陣 Tensor，此時 p 為任意已支持的值。數據類型為 float32 或 float64 。

p (float|string，可選)：范數種類。目前支持的值為 fro(Frobenius范數) 、 nuc（核范數） 、 1 、 -1 、 2 、 -2 、 inf 、 -inf。默認值為 None，即范數種類為 2 。

name (str，可選) - 具體用法請參見 Name，一般無需設置，默認值為 None。

返回
Tensor，條件數的計算結果，數據類型和輸入 x 的一致。

import paddle
paddle.seed(2023)
x = paddle.to_tensor([[1., 0, -1], [0, 1, 0], [1, 0, 1]])# compute conditional number when p is None
out = paddle.linalg.cond(x)
print(out)# compute conditional number when order of the norm is 'fro'
out_fro = paddle.linalg.cond(x, p='fro')
print(out_fro)# compute conditional number when order of the norm is 'nuc'
out_nuc = paddle.linalg.cond(x, p='nuc')
print(out_nuc)# compute conditional number when order of the norm is 1
out_1 = paddle.linalg.cond(x, p=1)
print(out_1)# compute conditional number when order of the norm is -1
out_minus_1 = paddle.linalg.cond(x, p=-1)
print(out_minus_1)# compute conditional number when order of the norm is 2
out_2 = paddle.linalg.cond(x, p=2)
print(out_2)# compute conditional number when order of the norm is -1
out_minus_2 = paddle.linalg.cond(x, p=-2)
print(out_minus_2)# compute conditional number when order of the norm is inf
out_inf = paddle.linalg.cond(x, p=float("inf"))
print(out_inf)# compute conditional number when order of the norm is -inf
out_minus_inf = paddle.linalg.cond(x, p=-float("inf"))
print(out_minus_inf)a = paddle.randn([2, 4, 4])
print(a)a_cond_fro = paddle.linalg.cond(a, p='fro')
print(a_cond_fro)b = paddle.randn([2, 3, 4])
print(b)b_cond_2 = paddle.linalg.cond(b, p=2)
print(b_cond_2)

矩陣的秩

線性無關性的定義

一組向量被稱為線性無關，如果其中沒有任何一個向量可以表示為其他向量的線性組合， 例如
${\alpha }_1={\sum }_{i=2}^n{k}_i{\alpha }_i$。
矩陣的行向量組和列向量組
給定一個 $m\times n$ 矩陣 $A$ ，它包含 $m$ 個行向量和 $n$ 個列向量。
極大線性無關組
在一組向量中，極大線性無關組是指包含最多線性無關向量的子集。添加任何額外的向量都會使該組變得線性相關。

矩陣的秩的定義

矩陣 $A$ 的秩是指其行向量組或列向量組中極大線性無關組的大小。
矩陣的行秩等于其列秩，統稱為矩陣的秩。

import paddlea = paddle.eye(10)
b = paddle.linalg.matrix_rank(a)
print(b)c = paddle.ones(shape=[3, 4, 5, 5])
d = paddle.linalg.matrix_rank(c, tol=0.01, hermitian=True)
print(d)