PyTorch PINN實戰：用深度學習求解微分方程

在人工智能與計算數學的交匯點，物理信息神經網絡（Physics-Informed Neural Networks，PINN）正引領著一場求解微分方程的革命。傳統上，微分方程是描述自然現象和工程問題中各種關系的重要工具，但其求解往往依賴于復雜的數值方法或耗時的實驗驗證。然而，隨著深度學習技術的飛速發展，PINN為我們提供了一種全新的、高效的求解途徑。本文將深入探討PyTorch PINN的實戰應用，展示如何用深度學習求解微分方程，讓讀者在收獲知識的同時，感受到科技創新的魅力。

#### 一、引言：傳統方法的局限與PINN的崛起

微分方程，無論是常微分方程（ODE）還是偏微分方程（PDE），都是描述自然界中連續變化過程的基本工具。然而，傳統求解微分方程的方法，如有限差分法、有限元法等，往往面臨計算復雜度高、對高維問題處理困難等挑戰。此外，這些方法通常需要大量的計算資源和時間，且對于某些復雜問題，可能無法得到精確的解析解。

隨著深度學習的興起，神經網絡以其強大的非線性擬合能力和數據驅動的學習機制，為解決微分方程提供了新的思路。然而，傳統的神經網絡模型在求解微分方程時，往往依賴于大規模的標記數據集，這在許多實際應用中是不切實際的。因此，PINN應運而生，它將物理定律（即微分方程）直接整合到神經網絡的訓練過程中，從而顯著提高了數據利用效率，為求解微分方程開辟了一條新的道路。

#### 二、PINN的基本原理與優勢

PINN的核心思想是將微分方程的約束條件嵌入到神經網絡的損失函數中，使網絡在訓練過程中不僅能夠擬合給定的數據點，還能夠滿足微分方程的定義。具體來說，PINN的損失函數通常由兩部分組成：一部分是數據損失，用于衡量網絡輸出與真實數據之間的差異；另一部分是物理損失，用于衡量網絡輸出對微分方程約束的滿足程度。

PINN相比傳統方法具有顯著的優勢。首先，它不需要大量的標記數據集，而是通過物理定律的約束從相對小規模的數據集中有效學習。其次，PINN能夠處理傳統數值求解器難以應對的高維復雜偏微分方程。此外，訓練完成后，PINN模型具有良好的泛化能力，可預測不同初始條件或邊界條件下的解。在處理逆問題時，PINN對噪聲和稀疏數據也表現出較強的魯棒性。

#### 三、PyTorch PINN實戰：求解常微分方程

為了更具體地展示PINN的實戰應用，我們將以求解一個簡單的常微分方程為例，介紹如何使用PyTorch實現PINN。

**（一）問題定義**

考慮以下一階線性常微分方程：

$y'(x) = 2x + 5$

初始條件為：

$y(0) = 3$

**（二）數據準備**

在PINN中，我們不需要大量的標記數據集，但為了訓練和評估模型，我們仍然需要一些數據點。這里，我們可以使用解析解來生成一些訓練數據和測試數據。

**（三）模型搭建**

接下來，我們使用PyTorch定義一個簡單的全連接神經網絡作為PINN模型。模型的結構可以根據問題的復雜程度進行調整，但通常包括一個輸入層、若干個隱藏層和一個輸出層。在隱藏層中，我們可以使用ReLU、Tanh等激活函數來增加網絡的非線性擬合能力。

```python
import torch
import torch.nn as nn
import torch.optim as optim
import numpy as np
import matplotlib.pyplot as plt

class PINN(nn.Module):
? ? def __init__(self):
? ? ? ? super(PINN, self).__init__()
? ? ? ? self.net = nn.Sequential(
? ? ? ? ? ? nn.Linear(1, 20), nn.Tanh(),
? ? ? ? ? ? nn.Linear(20, 20), nn.Tanh(),
? ? ? ? ? ? nn.Linear(20, 1)
? ? ? ? )

? ? def forward(self, x):
? ? ? ? return self.net(x)
```

**（四）損失函數定義**

PINN的損失函數由數據損失和物理損失兩部分組成。數據損失用于衡量網絡輸出與真實數據之間的差異，而物理損失則用于衡量網絡輸出對微分方程約束的滿足程度。

```python
def pinn_loss(model, x):
? ? x.requires_grad = True
? ? y = model(x)
? ? dy_dx = torch.autograd.grad(y, x, torch.ones_like(y), create_graph=True)[0]
? ? ode_loss = torch.mean((dy_dx - (2 * x + 5)) ** 2)
? ? x0 = torch.tensor([[0.0]])
? ? y0_pred = model(x0)
? ? initial_loss = (y0_pred - 3) ** 2
? ? total_loss = ode_loss + initial_loss
? ? return total_loss, ode_loss, initial_loss
```

**（五）模型訓練**

在模型訓練過程中，我們使用優化器（如Adam）來迭代更新網絡的權重參數，以最小化損失函數。同時，我們可以使用訓練過程中的損失變化來評估模型的收斂情況。

```python
model = PINN()
optimizer = optim.Adam(model.parameters(), lr=1e-3)
epochs = 5000
loss_history = []
ode_loss_history = []
initial_loss_history = []

x_train = torch.linspace(-2, 2, 100).view(-1, 1)
for epoch in range(epochs):
? ? optimizer.zero_grad()
? ? total_loss, ode_loss, initial_loss = pinn_loss(model, x_train)
? ? total_loss.backward()
? ? optimizer.step()
? ? loss_history.append(total_loss.item())
? ? ode_loss_history.append(ode_loss.item())
? ? initial_loss_history.append(initial_loss.item())
? ? if epoch % 1000 == 0:
? ? ? ? print(f"Epoch {epoch}, Loss: {total_loss.item():.6f}")
```

**（六）結果展示**

訓練完成后，我們可以使用測試數據來評估模型的性能。同時，我們還可以繪制訓練過程中的損失變化曲線，以觀察模型的收斂情況。

```python
x_test = torch.linspace(-2, 2, 100).view(-1, 1)
y_true = x_test ** 2 + 5 * x_test + 3 ?# 真實解
y_pred = model(x_test)

plt.figure(figsize=(8, 5))
plt.plot(x_test.numpy(), y_true.numpy(), linestyle="dashed", linewidth=2, label="True Solution")
plt.plot(x_test.numpy(), y_pred.detach().numpy(), linewidth=2, label="PINN Prediction")
plt.xlabel("x")
plt.ylabel("y(x)")
plt.legend()
plt.title("PINN Solution of ODE")
plt.grid()
plt.show()

plt.figure(figsize=(8, 5))
epochs_list = np.arange(1, epochs + 1)
plt.semilogy(epochs_list, loss_history, 'k--', linewidth=3, label=r'Total Loss $(L_D + L_B)$')
plt.xlabel('Epoch')
plt.ylabel('Loss')
plt.legend()
plt.title('Training Loss Over Epochs')
plt.grid()
plt.show()
```

#### 四、PyTorch PINN實戰：求解偏微分方程

PINN不僅可以用于求解常微分方程，還可以擴展到求解偏微分方程。以二維熱傳導方程為例，我們將展示如何使用PyTorch PINN來求解這類問題。

**（一）問題定義**

考慮以下二維熱傳導方程：

$\frac{\partial u}{\partial t} = \alpha \left( \frac{\partial^2 u}{\partial x^2} + \frac{\partial^2 u}{\partial y^2} \right)$

其中，$u(x, y, t)$是溫度分布函數，$\alpha$是熱擴散系數。

**（二）數據準備與模型搭建**

與常微分方程類似，我們需要準備一些訓練數據和測試數據來訓練和評估模型。同時，我們還需要根據問題的復雜程度搭建一個合適的神經網絡模型。

**（三）損失函數定義與模型訓練**

對于偏微分方程，我們需要定義更加復雜的損失函數來同時考慮時間導數、空間導數和初始/邊界條件。在模型訓練過程中，我們仍然使用優化器來迭代更新網絡的權重參數，以最小化損失函數。

**（四）結果展示與分析**

訓練完成后，我們可以使用測試數據來評估模型的性能，并繪制溫度分布圖來直觀展示結果。同時，我們還可以分析不同參數對模型性能的影響，以進一步優化模型。