出版時間：24 May 2021
作者：George Em Karniadakis, Ioannis G. Kevrekidis, Lu Lu, Paris Perdikaris, Sifan Wang & Liu Yang
期刊：Nature Reviews Physics

Summary

【背景】
傳統基于偏微分方程（PDE）數值離散的多物理場模擬存在顯著局限：難以無縫整合噪聲/缺失數據、網格生成復雜、高維參數化PDE問題無法處理；且求解含隱藏物理的逆問題（如推斷材料屬性）成本極高，需復雜公式與代碼。另一方面，純數據驅動的機器學習（ML）雖在多領域有潛力，但訓練深度神經網絡（DNN）需大量數據，而科學問題中常面臨數據稀缺；且純ML模型可能因缺乏物理約束導致預測不物理（如違反守恒律）或泛化性差。因此，需構建“物理信息機器學習”（physics-informed learning），將物理定律作為先驗約束嵌入ML，解決上述雙重局限。

【方法】
核心是通過三種途徑將物理知識嵌入ML模型，形成物理信息學習框架：

1. 觀測偏差（Observational biases）：通過含物理信息的數據（如多保真觀測數據）或數據增強，使模型學習物理結構；
2. 歸納偏差（Inductive biases）：設計特殊網絡架構，隱式滿足物理約束（如CNN的平移不變性、GNN的圖結構、協變網絡的旋轉/平移不變性、滿足辛結構的哈密頓系統網絡）；
3. 學習偏差（Learning biases）：通過軟懲罰損失函數顯式約束模型滿足物理定律，典型代表為物理信息神經網絡（PINNs）——將PDE殘差嵌入損失函數，結合自動微分計算導數。

PINN的核心框架以粘性Burgers方程為例，通過“數據損失+PDE殘差損失”構建總損失，采用梯度優化器（Adam、L-BFGS）訓練網絡。

【結果】

1. 物理信息學習在逆問題與不適定問題中表現優異（如從溫度數據反演3D流場、從部分觀測反演等離子體電場），且無需完整初始/邊界條件；
2. 在小數據場景中泛化性強：通過物理約束將模型限制在低維流形上，少量數據即可訓練，且支持空間外推；
3. 可處理高維與隨機問題：如用DeepONets解決高維PDE的維數災難，用物理信息GAN（PI-GAN）量化隨機PDE的參數不確定性；
4. 應用廣泛：覆蓋流體力學（咖啡杯流場）、生物物理（4D-flow MRI血管流場）、核聚變（等離子體動力學）、量子化學（FermiNet解薛定諤方程）、材料科學（3D打印材料屬性提取）等領域。

【結論】
物理信息學習可無縫整合數據與物理模型，解決傳統PDE方法和純ML的核心局限，尤其適用于小數據、逆問題、高維場景；未來需突破多尺度/多物理問題的高頻學習瓶頸、建立標準化基準、完善理論基礎（如誤差分析），并探索算子回歸、內在變量搜索、數字孿生等方向。

Research Objective

1. 整合物理定律（如PDE、守恒律、對稱性）與機器學習，彌補傳統PDE數值方法（網格依賴、難整合噪聲數據）和純數據驅動ML（需大數據、預測不物理）的局限；
2. 實現對多物理、多尺度系統（如地球系統、等離子體、分子動力學）的高效建模，尤其針對逆問題、不適定問題、小數據場景；
3. 提升科學ML模型的可解釋性、物理一致性與泛化性，避免純數據驅動模型的外推偏差；
4. 探索物理約束嵌入ML的通用框架（如PINNs、DeepONets），并拓展至數字孿生、不確定性量化等前沿應用。

Background / Problem Statement

問題背景

多物理、多尺度系統（如地球系統的時空尺度跨度17個數量級、核聚變邊緣等離子體）的建模與預測是開放科學問題。這類系統的動力學由物理、化學、生物過程耦合驅動，傳統方法難以平衡精度、效率與數據兼容性。

研究現狀

1. 傳統PDE數值方法：過去50年通過有限差分、有限元、譜方法等實現了多尺度物理的理解，但存在固有瓶頸——依賴網格生成（復雜幾何成本高）、難以整合噪聲/缺失數據、高維參數化PDE（如含數百個不確定參數）計算不可行；
2. 純數據驅動ML：ML（尤其深度學習）可處理高維數據、挖掘復雜關聯，但在科學問題中面臨數據稀缺（實驗/模擬成本高）、預測可能違反物理定律（如不滿足質量守恒）、可解釋性差的問題；
3. 初步融合嘗試：數據同化方法試圖結合物理模型與觀測，但數據的時空異質性、缺乏通用模型導致效果有限；部分研究（如稀疏識別SINDy）嘗試從數據中發現PDE，但依賴大量高質量數據。

需解決的問題

1. 傳統PDE方法：① 無法無縫整合噪聲/缺失邊界條件；② 高維參數化PDE計算成本極高；③ 逆問題（如推斷材料屬性）需復雜公式與代碼，經濟性差；
2. 純數據驅動ML：① 科學問題中數據不足，難以訓練；② 預測可能不物理（如流體力學中違反Navier-Stokes方程）；③ 泛化性差，外推時誤差劇增；
3. 缺乏通用框架：現有融合方法（如數據同化）局限于特定場景，未形成可擴展的物理-ML整合范式。

問題出現的原因分析

1. 傳統PDE方法：依賴完整物理模型與結構化網格，對數據噪聲、模型不確定性的魯棒性差；高維問題受“維數災難”限制，離散后自由度爆炸；
2. 純ML：以“數據擬合”為核心，缺乏物理先驗約束，無法利用科學問題中的已知定律（如守恒律、對稱性），導致模型在物理約束空間外的預測不可靠；
3. 跨領域壁壘：PDE數值方法的數學嚴謹性與ML的經驗驅動特性難以結合，缺乏同時兼顧物理一致性與計算效率的理論框架。

問題解決思路

將物理定律（如PDE、守恒律、對稱性）作為先驗約束嵌入ML模型，形成“物理信息學習”：

• 對傳統PDE方法：用ML的無網格特性、高維擬合能力彌補網格依賴與高維瓶頸；
• 對純ML：用物理約束縮小解空間，降低數據需求，確保預測的物理一致性；
• 核心路徑：通過觀測偏差（物理數據）、歸納偏差（特殊架構）、學習偏差（軟懲罰損失）三種方式嵌入物理，典型實現為PINNs。

Method(s)

問題建模

以PDE約束+數據驅動為核心，將科學問題建模為“物理定律正則化的數據擬合問題”，典型形式如下：

1. 物理約束：以PDE為核心（如粘性Burgers方程，描述流體運動）：
   $$\frac{?u}{?t}+u\frac{?u}{?x}=\nu \frac{{?}^{2}u}{?x^2}$$
   其中$u(x,t)$為流場速度，$\nu$為粘性系數，需滿足初始條件$u(x,0)=u_0(x)$與Dirichlet邊界條件；
2. 數據約束：觀測數據$\{(x_i,t_i,u_i)\}$（如實驗測量的速度/溫度）；
3. 目標函數：最小化“數據擬合誤差+PDE殘差誤差”，確保模型同時滿足數據與物理。

作者解決問題的方法/算法

核心是三種物理約束嵌入途徑，及基于此的PINN、DeepONets等框架：

1. 觀測偏差（Observational Biases）

• 機制：通過含物理信息的數據或數據增強，使模型學習物理結構；
• 實例：① 用大渦模擬（LES）數據訓練NN，構建湍流模型閉合項；② 數據增強生成符合物理的樣本（如流體運動的連續性約束樣本）；
• 適用場景：有一定物理數據，但不足以直接訓練純ML模型的場景。

2. 歸納偏差（Inductive Biases）

• 機制：設計特殊網絡架構，隱式滿足物理約束，無需額外損失懲罰；
• 典型架構：
  • CNN/GNN：利用平移不變性（流體力學）、圖結構（分子動力學）；
  • 協變網絡（Covariant Networks）：滿足多體系統的旋轉/平移不變性（圖1a）；
  • 辛網絡（SympNets）：保留哈密頓系統的辛結構，確保能量守恒；
  • 基于Lax-Oleinik公式的網絡：直接表示哈密頓-雅可比PDE的粘性解（圖1b），公式為：
    f(x,t)=min?i∈{1,...,m}{tL(x?uit)+ai}f(x,t) = \min_{i \in \{1,...,m\}} \left\{ t L\left(\frac{x-u_i}{t}\right) + a_i \right\}f(x,t)=i∈{1,...,m}min?{tL(tx?ui??)+ai?}
    其中$L$為凸Lipschitz激活函數，$u_i,a_i$為網絡參數，$f(x,t)$滿足HJ-PDE：
    $$\{\begin{array}{ll}\frac{?f}{?t}+H({?}_{x}f)=0& x\in {\mathbb{R}}^n,t>0\\ f(x,0)=J(x)& x\in {\mathbb{R}}^n\end{array}$$
• 優勢：物理約束嚴格滿足，無需調優懲罰權重；劣勢：僅適用于已知簡單對稱性（如平移、旋轉）的場景，復雜物理難以嵌入。

3. 學習偏差（Learning Biases）

• 機制：通過軟懲罰損失函數，顯式約束模型近似滿足物理定律，代表為物理信息神經網絡（PINNs）；
• PINN核心算法（Box 3）：
  1. 構建NN $u(x,t;\theta )$（$\theta$為權重/偏置），輸入為時空坐標，輸出為PDE解；
  2. 定義總損失函數（數據損失+PDE殘差損失）：
     $$\mathcal{L}=w_{\text{data}}{\mathcal{L}}_{\text{data}}+w_{\text{PDE}}{\mathcal{L}}_{\text{PDE}}$$
     其中：
     • 數據損失（擬合初始/邊界條件與觀測）：${\mathcal{L}}_{\text{data}}=\frac{1}{N_{\text{data}}}{\sum }_{i=1}^{N_{\text{data}}}{\left(u(x_i,t_i)?u_i\right)}^2$；
     • PDE殘差損失（近似滿足PDE）：${\mathcal{L}}_{\text{PDE}}=\frac{1}{N_{\text{PDE}}}{\sum }_{j=1}^{N_{\text{PDE}}}{\left(\frac{?u}{?t}+u\frac{?u}{?x}?\nu \frac{{?}^{2}u}{?x^2}\right)}_{(x_j,t_j)}^2$；
     • $w_{\text{data}},w_{\text{PDE}}$為平衡權重（用戶定義或自動調優）；
  3. 用梯度優化器（Adam+L-BFGS）最小化損失，直至$\mathcal{L}<?$（閾值）。

4. 混合方法

結合上述途徑，如：

• DeepM&Mnet：先用DeepONets分別學習單物理場，再通過監督學習耦合多物理（如電對流、高超聲速流）；
• 多保真框架：用低保真數據（如大量有限元模擬）訓練基礎NN，再用高保真數據（如少量實驗）微調，降低數據需求。

是否基于前人的方法：是

物理信息學習的框架基于傳統數值方法與ML的融合，核心方法（如PINNs）繼承并拓展了前人工作。

基于了哪些：

1. 傳統PDE數值方法：Runge-Kutta積分器（PINN的時間離散靈感）、有限元方法（弱形式PDE殘差設計）、多網格方法（CNN的層級結構）；
2. ML基礎框架：深度Galerkin方法（Sirignano 2018）、高斯過程回歸（物理約束的核方法實現）；
3. 關鍵前人研究：
   • Raissi等人2019年提出的PINN框架（J. Comput. Phys.），首次將PDE殘差嵌入NN損失；
   • Brunton等人2016年的SINDy方法（從數據中識別PDE）；
   • Lu等人2021年的DeepONets（學習非線性算子，解決PDE的算子回歸問題）。

Evaluation

作者如何評估自己的方法：

通過應用案例驗證+不確定性量化+與傳統方法對比，評估模型的物理一致性、精度、效率與泛化性，核心邏輯是“在傳統方法失效的場景（如逆問題、小數據）中驗證優勢”。

評估指標：

1. 損失函數值：${\mathcal{L}}_{\text{data}}$（數據擬合誤差）、${\mathcal{L}}_{\text{PDE}}$（PDE殘差），反映模型對數據與物理的滿足程度；
2. 實驗對比精度：與實驗測量數據（如粒子圖像測速PIV、4D-flow MRI）的誤差，如咖啡杯流場反演中速度場的RMS誤差；
3. 物理一致性檢驗：驗證模型預測是否滿足核心物理定律（如流體力學中質量守恒、能量守恒的偏差）；
4. 泛化能力：空間外推（如邊界外的流場預測）、參數外推（如改變流體粘性系數后的預測穩定性）；
5. 計算效率：與傳統方法（如有限元）的計算時間、內存占用對比（如PINN無網格，復雜幾何下效率提升1-2個數量級）。

實驗的setup是什么樣的：

參數設置：

1. 網絡架構：
   • 基礎模型：多層感知器（MLP，適用于散點數據）、CNN（適用于網格數據，如MRI）、GNN（適用于分子/圖結構）；
   • 激活函數：ReLU（通用場景）、凸Lipschitz函數（HJ-PDE場景）、自適應激活函數（加速PINN收斂）；
2. 優化器：兩階段優化——先用Adam（學習率1e-3~1e-4）快速下降，再用L-BFGS精細優化；
3. 權重與采樣：$w_{\text{data}}、w_{\text{PDE}}$默認設為1，復雜場景用自動調優；PDE殘差采樣點$\{(x_j,t_j)\}$在全域隨機生成（密度根據梯度大小自適應調整）；
4. 軟件工具：基于TensorFlow/PyTorch，依賴DeepXDE（PINN專用庫）、GPyTorch（核方法）、Neural Tangents（網絡分析）。

實驗場景：

覆蓋6大領域，均針對傳統方法難處理的問題：

1. 流體力學：咖啡杯流場（從Tomo-BOS溫度數據反演3D速度/壓力，無邊界條件）；
2. 生物物理：4D-flow MRI（去噪并恢復豬降主動脈的血流速度、壓力、血管壁剪應力）；
3. 核聚變：邊緣等離子體（從部分電子密度/溫度觀測反演湍流徑向電場）；
4. 量子化學：多電子薛定諤方程（FermiNet，滿足費米-狄拉克統計）；
5. 材料科學：3D打印材料屬性（多保真框架從壓痕數據推斷彈性模量與屈服應力）；
6. 分子動力學：DeepMD（用NN替代人工勢能函數，實現ab initio精度的百萬原子模擬）。

感興趣實驗數據和結果有哪些：

1. 咖啡杯流場反演（逆問題）：
   • 輸入：6臺相機拍攝的Tomo-BOS溫度梯度數據（含噪聲）；
   • 結果：PINN反演的3D速度場與PIV實驗數據的RMS誤差<5%，壓力場符合流體靜力學規律，無需任何邊界條件；
2. 4D-flow MRI增強（小數據+去噪）：
   • 輸入：低分辨率、高噪聲的豬主動脈MRI數據；
   • 結果：PINN（約束Navier-Stokes方程）去噪后信噪比提升30%，血管壁定位誤差<0.1mm，剪應力計算精度與侵入式測量一致；
3. 材料屬性提取（多保真）：
   • 輸入：少量高保真實驗數據（3D打印鈦合金壓痕測試）+ 大量低保真模擬數據（有限元）；
   • 結果：屈服應力推斷誤差從傳統方法的100%+降至<5%，彈性模量誤差<3%；
4. 高維PDE求解：
   • 場景：144維Allen-Cahn系統（相變問題）；
   • 結果：PINN通過協變網絡與自適應采樣，成功學習亞穩態間的躍遷路徑，計算效率比傳統有限元提升20倍。

有沒有問題或者可以借鑒的地方：

存在的問題：

1. 譜偏差（Spectral Bias）：全連接NN難以學習高頻成分（如湍流的小尺度結構），導致多尺度問題中精度不足；
2. 訓練不穩定性：PINN的損失函數含數據與PDE殘差項，可能相互競爭導致梯度消失（尤其高維問題）；
3. 理論基礎薄弱：缺乏嚴格的誤差分析（如近似誤差、優化誤差、泛化誤差的量化），難以保證收斂性；
4. 基準缺失：科學問題的物理一致性指標（如守恒律偏差）未標準化，不同方法難以對比。

可借鑒的地方：

1. 無網格特性：PINN無需網格生成，可直接處理復雜幾何（如不規則血管、斷裂材料），值得在工程仿真中推廣；
2. 多偏差融合：觀測偏差（數據增強）+歸納偏差（特殊架構）+學習偏差（軟懲罰）的組合策略，可提升模型魯棒性，適用于小數據科學問題；
3. 不確定性量化：B-PINNs（貝葉斯PINN）通過貝葉斯框架量化數據/模型/物理的三重不確定性，為風險決策提供支持；
4. 軟件生態：DeepXDE、SimNet等專用庫簡化了PINN實現（如自動計算高階導數、支持復雜幾何），降低了入門門檻。

Conclusion

strong conclusions（明確結論）

1. 物理信息學習可無縫整合數據與物理模型，在部分已知物理、不確定、高維場景中表現優異，解決了傳統PDE方法與純ML的核心局限；
2. PINNs是逆問題與不適定問題的高效工具：結合領域分解后可擴展至大規模工程問題（如多物理場耦合），且代碼實現簡單（基于TensorFlow/PyTorch）；
3. 核方法（如高斯過程）與NN的結合（如Neural Tangents分析）為物理信息學習提供了可解釋性基礎，可量化模型不確定性；
4. 物理約束嵌入ML的三種途徑（觀測、歸納、學習偏差）并非互斥，混合方法（如多保真+PINN）可進一步提升性能，適用于多數科學問題。

weak conclusions（待驗證/局限結論）

1. 多尺度、多物理問題仍需突破：當前方法難以同時處理高頻與低頻成分，學習多物理耦合時計算成本顯著增加；
2. 理論框架不完善：缺乏統一的誤差分析與收斂性證明，模型參數（如PINN的權重$w_{\text{PDE}}$）仍依賴經驗調優；
3. 標準化基準缺失：需建立覆蓋多領域的物理信息學習基準數據集（如含噪聲的PDE解、多保真觀測）與評估指標；
4. 數字孿生等前沿應用的可行性需進一步驗證：物理信息學習在實時數據同化、動態模型更新中的效率與穩定性尚未充分測試。

Notes

1. 關鍵公式與原理補充：

   • 哈密頓-雅可比PDE的NN表示（式1、2）：直接將物理公式嵌入網絡架構，無需數值離散，適用于高維HJ-PDE；
   • PINN的自動微分：通過TensorFlow的tf.gradients計算一階/二階導數（如$\frac{?u}{?t}=\text{tf.gradients}(u,t)$），DeepXDE的dde.grad.hessian支持懶計算與梯度緩存，提升高階導數效率；
   • 不確定性量化的三種來源：① 物理不確定性（如隨機PDE）；② 數據不確定性（噪聲/缺失）；③ 模型不確定性（NN近似誤差），需針對性處理（如SPDE用GAN、數據噪聲用B-PINNs）。

2. 核心術語定義：

   • 多保真數據（Multi-fidelity data）：不同精度的數據（如實驗為高保真、簡化模擬為低保真），用于降低數據需求；
   • 譜偏差（Spectral Bias）：NN優先學習低頻成分，高頻成分收斂慢的現象，需通過Fourier特征、領域分解緩解；
   • 辛結構（Symplectic Structure）：哈密頓系統的核心屬性，SympNets通過架構設計保留該結構，確保能量守恒；
   • 算子回歸（Operator Regression）：學習輸入（如PDE源項）到輸出（如PDE解）的非線性算子（如DeepONets），適用于參數化PDE的快速求解。

3. 未來研究方向提示：

   • 內在變量搜索：從觀測中自動識別物理意義明確的變量（如用流形學習發現“ emergent space-time”）；
   • 等變網絡（Equivariant Networks）：內置物理對稱性（如洛倫茲不變性）的架構，提升高能物理、量子力學場景的適用性；
   • 數字孿生：物理信息學習可融合實時傳感器數據與物理模型，實現工業設備（如發動機）的動態校準與故障預測。

References

1. Raissi, M., Perdikaris, P. & Karniadakis, G. E. Physics-informed neural networks: a deep learning framework for solving forward and inverse problems involving nonlinear PDEs. J. Comput. Phys. 378, 686–707 (2019)（PINN的奠基性論文）；
2. Lu, L., Jin, P., Pang, G. et al. Learning nonlinear operators via DeepONet based on the universal approximation theorem of operators. Nat. Mach. Intell. 3, 218–229 (2021)（算子回歸的核心工作，解決高維PDE）；
3. Cai, S. et al. Flow over an espresso cup: inferring 3-D velocity and pressure fields from Tomo-BOS via PINNs. J. Fluid Mech. 915 (2021)（PINN在流體逆問題中的經典應用）；
4. Lu, L. et al. Extraction of mechanical properties of materials through deep learning from instrumented indentation. Proc. Natl Acad. Sci. USA 117, 7052–7062 (2020)（多保真物理信息學習在材料科學的應用）；
5. Yang, L., Meng, X. & Karniadakis, G. E. B-PINNs: Bayesian physics-informed neural networks for forward and inverse PDE problems with noisy data. J. Comput. Phys. 415, 109913 (2021)（不確定性量化的關鍵工作）；
6. Haghighat, E. & Juanes, R. SciANN: a Keras/TensorFlow wrapper for scientific computations and physics-informed deep learning. Comput. Meth. Appl. Mech. Eng. 373, 113552 (2020)（物理信息學習的實用工具庫）。