1. 基本數學運算

1.1 平方根和冪運算

import torchx = torch.tensor([4.0, 9.0, 16.0])# 平方根
sqrt_x = torch.sqrt(x)  # tensor([2., 3., 4.])# 平方
square_x = torch.square(x)  # tensor([16., 81., 256.])# 任意冪次
pow_x = torch.pow(x, 3)  # tensor([64., 729., 4096.])# 運算符形式
sqrt_x_alt = x ** 0.5
square_x_alt = x ** 2

1.2 指數和對數

# 自然指數
exp_x = torch.exp(x)  # tensor([5.4595e+01, 8.1031e+03, 8.8861e+06])# 自然對數
log_x = torch.log(x)  # tensor([1.3863, 2.1972, 2.7726])# 以10為底的對數
log10_x = torch.log10(x)  # tensor([0.6021, 0.9542, 1.2041])# 帶clip的最小值保護（避免log(0)）
safe_log = torch.log(x + 1e-8)

2. 統計運算

2.1 求和與均值

x = torch.randn(3, 4)  # 3x4隨機張量# 全局求和
total = torch.sum(x)  # 標量# 沿特定維度求和
sum_dim0 = torch.sum(x, dim=0)  # 形狀(4,)，沿行求和
sum_dim1 = torch.sum(x, dim=1)  # 形狀(3,)，沿列求和# 均值計算
mean_val = torch.mean(x)  # 全局均值
mean_dim0 = torch.mean(x, dim=0)  # 沿行求均值

2.2 極值與排序

# 最大值/最小值
max_val = torch.max(x)  # 全局最大值
min_val = torch.min(x)  # 全局最小值# 沿維度的極值及索引
max_vals, max_indices = torch.max(x, dim=1)  # 每行最大值及位置
min_vals, min_indices = torch.min(x, dim=0)  # 每列最小值及位置# 排序
sorted_vals, sorted_indices = torch.sort(x, dim=1, descending=True)

2.3 方差與標準差

# 無偏方差（分母n-1）
var_x = torch.var(x, unbiased=True)  # 全局方差
var_dim0 = torch.var(x, dim=0)  # 沿行方差# 標準差
std_x = torch.std(x)  # 全局標準差
std_dim1 = torch.std(x, dim=1)  # 沿列標準差

3. 矩陣運算

3.1 基本矩陣運算

A = torch.randn(3, 4)
B = torch.randn(4, 5)# 矩陣乘法
matmul = torch.matmul(A, B)  # 形狀(3,5)
matmul_alt = A @ B  # 等價寫法# 點積（向量）
v1 = torch.randn(3)
v2 = torch.randn(3)
dot_product = torch.dot(v1, v2)# 批量矩陣乘法
batch_A = torch.randn(5, 3, 4)  # 5個3x4矩陣
batch_B = torch.randn(5, 4, 5)  # 5個4x5矩陣
batch_matmul = torch.bmm(batch_A, batch_B)  # 形狀(5,3,5)

3.2 矩陣分解

# 特征分解（對稱矩陣）
sym_matrix = torch.randn(3, 3)
sym_matrix = sym_matrix @ sym_matrix.T  # 構造對稱矩陣
eigenvals, eigenvecs = torch.linalg.eigh(sym_matrix)# SVD分解
U, S, V = torch.linalg.svd(A)

4. 比較運算

4.1 元素級比較

a = torch.tensor([1, 2, 3])
b = torch.tensor([3, 2, 1])# 比較運算
eq = torch.eq(a, b)  # tensor([False, True, False])
gt = torch.gt(a, b)  # tensor([False, False, True])
lt = torch.lt(a, b)  # tensor([True, False, False])# 運算符形式
eq_alt = a == b
gt_alt = a > b

4.2 約簡比較

# 判斷所有元素為True
all_true = torch.all(eq)# 判斷任一元素為True
any_true = torch.any(gt)# 判斷張量相等（形狀和值）
torch.equal(a, b)  # False

5. 規約運算

5.1 常用規約

x = torch.randn(2, 3)# 求和規約
sum_all = x.sum()  # 全局求和
sum_dim = x.sum(dim=1)  # 沿維度規約# 累積和
cumsum = x.cumsum(dim=0)  # 沿維度累積# 乘積規約
prod_all = x.prod()  # 全局乘積

5.2 高級規約

# 加權平均
weights = torch.softmax(torch.randn(3), dim=0)
weighted_mean = torch.sum(x * weights, dim=1)# 沿維度的logsumexp（數值穩定）
logsumexp = torch.logsumexp(x, dim=1)

6. 工程實踐建議

6.1. 廣播機制理解：確保運算張量的形狀兼容

# 廣播示例
a = torch.randn(3, 1)
b = torch.randn(1, 3)
c = a + b  # 形狀(3,3)

6.2. 原地操作：使用_后綴節省內存

x.sqrt_()  # 原地平方根
x.add_(1)  # 原地加1

6.3. 設備一致性：確保運算張量在同一設備

if torch.cuda.is_available():x = x.cuda()y = y.cuda()z = x + y

6.4. 梯度保留：注意運算對計算圖的影響

x = torch.tensor(2.0, requires_grad=True)
y = x ** 2
y.backward()  # dy/dx = 2x = 4.0

6.5. 數值穩定性：使用穩定實現

# 不穩定的softmax實現
unstable = torch.exp(x) / torch.exp(x).sum(dim=1, keepdim=True)# 穩定的softmax實現
stable = torch.softmax(x, dim=1)

7. 性能優化技巧

7.1 向量化操作：避免Python循環

# 不好的做法
result = torch.zeros_like(x)
for i in range(x.size(0)):result[i] = x[i] * 2# 好的做法
result = x * 2

7.2. 融合操作：減少中間結果

# 低效
temp = x + y
result = temp * z# 高效
result = (x + y) * z

7.3. 使用內置函數：利用優化實現

# 自定義實現
custom_norm = torch.sqrt(torch.sum(x ** 2))# 內置優化函數
optimized_norm = torch.norm(x)