未來機器人的大腦：如何用神經網絡模擬器實現更智能的決策？

編輯：陳萍萍的公主@一點人工一點智能

未來機器人的大腦：如何用神經網絡模擬器實現更智能的決策？RWM通過雙自回歸機制有效解決了復合誤差、部分可觀測性和隨機動力學等關鍵挑戰，在不依賴領域特定歸納偏見的條件下實現了卓越的預測準確性和魯棒性。https://mp.weixin.qq.com/s/JztOQLpMRD1OueApQgISWg論文提出了名為RWM（Robotic World Model）的新型世界模型框架，通過雙自回歸機制和自我監督訓練，解決了機器人控制中長期預測、誤差累積和部分可觀測性等核心挑戰。文章將從摘要與引言、相關工作、方法框架、實驗驗證、局限性與結論等維度進行系統分析，重點剖析其技術創新點與實驗設計，并評估其對機器人學與強化學習領域的貢獻。通過這種結構化解讀，我們將揭示該研究如何通過世界模型的精準預測與穩健策略優化，縮小仿真與現實間的鴻溝，為機器人控制提供新的解決方案。

01? 簡介

論文提出了一種能夠準確捕捉復雜、部分可觀測和隨機動力學的新型世界模型學習框架。該方法通過雙自回歸機制和自我監督訓練，實現了不依賴領域特定歸納偏見的可靠長期預測，從而確保了跨多樣化機器人任務的適應性。論文特別指出了該方法在"長時程預測"、"誤差累積"和"仿真到現實遷移"三大挑戰上的突破，這些問題正是當前基于模型的強化學習（MBRL）領域面臨的主要瓶頸。

技術貢獻被歸納為三個方面：

·?創新的網絡架構與訓練框架

·?涵蓋多樣化機器人任務的綜合評估套件

·?利用學習到的世界模型進行高效策略優化的框架

引言部分系統性地構建了研究問題的背景與動機。作者首先指出當前機器人系統普遍存在的關鍵局限：策略部署后的適應能力不足，導致無法充分利用真實世界交互產生的寶貴數據。這種局限性在動態不確定環境中尤為突出，嚴重制約了系統的魯棒性和應對場景變化的能力。通過對比模型自由RL方法（如PPO和SAC）與基于模型的方法，文章有力論證了樣本高效的世界模型在真實機器人應用中的必要性——模型自由方法雖然在高保真仿真中表現優異，但其高昂的交互成本使其難以應用于現實場景。

引言中對世界模型的討論尤為深入，將其定位為環境預測模型，能夠通過"想象中學習"實現規劃與策略優化。作者客觀評價了現有方法的不足：大多數工作通過引入領域特定的歸納偏見（如結構化狀態表示或手工設計的網絡架構）來提高模型保真度，這種做法雖然有效但犧牲了方法的通用性和可擴展性。相比之下，本文提出的RWM框架強調在不依賴手工設計表示或專門架構偏見的條件下，實現長期預測的魯棒性和準確性。這是首個完全無需領域特定知識、僅依靠學習到的神經網絡模擬器訓練策略并成功部署到物理硬件上的框架，且性能損失最小，這一主張在后續實驗部分得到了充分驗證。

02? 相關工作

論文對世界模型和基于模型的強化學習（MBRL）領域進行了系統性梳理，展現了作者對研究領域的全面把握。在世界模型方面，文獻回顧從兩個維度展開：應用領域與模型設計方法。

應用上，作者指出世界模型已成為機器人學中捕捉系統動力學、實現高效規劃與控制的基石，具體應用涵蓋機器人控制、基于視覺的任務以及需要豐富感知輸入的任務。

模型設計方法上，文獻重點對比了黑盒神經網絡與融合物理原理的設計思路，前者靈活性高但泛化能力受限，后者性能優異但需要大量領域知識，這種二元對立恰恰凸顯了RWM框架的創新價值——在不引入領域特定歸納偏見的前提下實現良好的泛化能力。

作者對潛在空間動力學模型的討論尤為深入，以Deep Planning Network(PlaNet)和Dreamer系列工作為例，展示了這類方法在連續控制和視覺導航任務中的卓越性能。這些框架通過將狀態空間抽象為緊湊表示，實現了高效的長期規劃，并已成功擴展到真實機器人部署中。文獻還特別提到將已知物理結構（如剛體動力學、半結構化拉格朗日動力學模型）融入模型設計的方法，這些工作雖然展示了令人印象深刻的結果，但需要強大的領域知識和精心設計的歸納偏見，這自然引出了本文工作的動機——開發更通用的框架。

在MBRL部分，論文從方法演進的角度進行了梳理，從早期PETS（使用概率神經網絡集合建模環境動力學）到PlaNet（在學習的潛在空間中直接規劃），再到Dreamer（將actor-critic框架整合到潛在動力學模型中）。這種歷時性回顧清晰地展示了MBRL領域的技術發展路徑。作者特別強調了混合方法的價值，如MBPO（基于模型的方法用于規劃和策略優化，但使用模型自由更新細化策略）和MOPO（擴展到完全離線設置）。這些方法試圖結合基于模型方法的樣本效率和模型自由方法的魯棒性，而本文提出的MBPO-PPO框架正是沿襲了這一思路但有所創新。

值得注意的是，相關工作中對梯度優化方法的討論（如SHAC）為后續實驗部分的對比埋下了伏筆。這些方法通過世界模型傳播梯度來優化策略，允許在復雜高維環境中進行更精確的策略更新，但在處理不連續動力學（如腿部運動中的接觸變化）時面臨挑戰。整個相關工作章節不僅展示了作者對領域的深刻理解，更通過精準的文獻選擇和組織，構建起本文工作的創新背景和技術定位。

03? 方法框架

3.1 問題表述與基礎理論

論文第三章"Approach"系統性地闡述了RWM的方法框架，首先從理論基礎上將環境建模為部分可觀測馬爾可夫決策過程(POMDP)，定義為元組(S,A,O,T,R,O,γ)，其中S、A和O分別表示狀態、動作和觀測空間。這種形式化表述明確了問題的數學邊界，特別是通過觀測函數O:S→O顯式處理了部分可觀測性這一關鍵挑戰。值得注意的是，作者采用了非標準符號O表示觀測函數（通常記為Ω），這可能是為了與觀測空間O區分，但需要在閱讀時特別注意。

世界模型的核心任務是近似環境動力學，即學習 $p(s_{t+1}|s_t,a_t)$ ，通過在"想象"中實現模擬環境交互來促進策略優化。論文清晰地勾勒出典型訓練流程的三個迭代步驟：

(1)從真實環境交互收集數據；

(2)使用收集的數據訓練世界模型；

(3)在世界模型產生的模擬環境中優化策略。

這種循環框架反映了Dyna算法的核心思想，但作者指出現有方法在復雜低級別機器人控制應用中仍面臨重大挑戰，由此引出RWM的創新價值。

RWM通過歷史上下文和自回歸訓練的引入，專門針對部分可觀測和不連續動力學環境中的誤差累積等挑戰進行了優化。與傳統世界模型相比，RWM的獨特之處在于其雙自回歸機制——既在訓練階段通過歷史觀測-動作序列進行條件預測，又在預測階段將自身預測反饋回模型以實現長期推演。這種雙重機制使模型能夠捕獲不可觀測的動力學特征，同時減輕長期預測中的誤差累積問題。

3.2 自監督自回歸訓練機制

RWM的核心創新之一是其自監督自回歸訓練框架，該框架使世界模型 $p_\phi$ 能夠通過利用歷史觀測-動作序列及其自身預測來預測未來觀測。具體實現上，模型輸入包含跨越M個歷史步驟的觀測-動作對序列，在每個時間步t預測下一個觀測的分布 $p(o_{t+1}|o_{t-M+1:t},a_{t-M+1:t})$ 。預測以自回歸方式生成：每一步的預測觀測 $o'_{t+k}$ 被追加到歷史記錄中，與下一個動作at+1組合作為后續預測的輸入。這個過程在N步的預測范圍內重復，產生未來預測序列。

數學上，k步前的預測觀測可表示為：

這種公式化表達清晰地展現了自回歸預測的馬爾可夫性質，其中每個預測步驟都依賴于有限的歷史窗口和先前的預測。值得注意的是，類似的流程也被應用于預測特權信息c（如接觸信息），這提供了額外的學習目標，隱式嵌入了準確長期預測所需的關鍵信息。

訓練目標函數設計體現了對長期預測穩定性的考量：

其中 $L_o$ 和 $L_c$ 量化預測與真實觀測及特權信息間的差異，α表示衰減因子。這種多步預測誤差的加權和設計具有雙重目的：一方面通過 $\alpha^k$ 的指數衰減減輕遠期預測的梯度影響，另一方面強制隱藏狀態編碼支持準確長期預測的表示。數據構建采用在收集的軌跡上滑動大小為M+N的窗口的方法，為預測目標提供足夠的歷史上下文。

論文詳細解釋了重參數化技巧的應用，這使得端到端優化能夠有效通過自回歸預測傳播梯度。通過納入歷史觀測，RWM能夠捕獲不可觀測的動力學，解決了部分可觀測和潛在不連續環境中的挑戰。與常用的teacher-forcing訓練范式（圖2b）相比，這種自回歸訓練（圖2a）顯著減輕了長期預測中的誤差累積，同時消除了對手工設計表示或領域特定歸納偏見的依賴，增強了跨多樣化任務的泛化能力。

3.3 雙自回歸網絡架構

雖然提出的自回歸訓練框架可應用于任何網絡架構，但RWM選擇了GRU基礎結構，因其能夠在處理低維輸入的同時保持長期歷史上下文。網絡預測描述下一個觀測的高斯分布的均值和標準差，這種概率輸出形式有助于捕捉環境的內在隨機性。

RWM的創新架構體現為雙自回歸機制：

(1)內部自回歸在上下文視界M內的每個歷史步驟后自回歸更新GRU隱藏狀態；

(2)外部自回歸將來自預測視界N的預測觀測反饋回網絡。

這種設計（圖S6）確保了對長期依賴和轉換的魯棒性，使RWM適用于復雜的機器人應用。值得注意的是，這種雙機制架構與傳統的遞歸神經網絡有本質區別——它不僅通過時間遞歸傳遞狀態，還顯式管理歷史上下文窗口和預測反饋路徑，形成了更為復雜的記憶系統。

3.4 基于世界模型的策略優化

RWM中的策略優化采用學習到的世界模型，遵循受MBPO和Dyna算法啟發的框架。在想象過程中，動作由策略πθ遞歸生成，條件是世界模型p?預測的觀測，而世界模型又條件于先前的預測。時間t+k的動作可表示為：

其中 $o'_{t+k}$ 根據公式(1)自回歸地從分布中抽取。這種方法結合了基于模型的想象與模型自由強化學習，實現了高效穩健的策略優化，如算法1所述。

回放緩沖區D聚合由單個智能體收集的真實環境交互。世界模型p?按照3.2節描述的自回歸方案在這些數據上進行訓練。想象智能體從D中的樣本初始化，并使用世界模型模擬T步的軌跡，通過強化學習算法實現策略更新。訓練示意圖見圖S7。

論文特別討論了PPO在 learned world models上訓練的獨特挑戰。模型不準確性可能在策略學習過程中被利用，導致想象動態與真實動態間的差異。這個問題因PPO所需的擴展自回歸推演而加劇，會放大預測誤差。作者將這種方法稱為MBPO-PPO，并強調RWM能夠成功地通過MBPO-PPO優化超過100個自回歸步驟的策略，遠超MBPO、Dreamer或TD-MPC等現有框架的能力。這一結果證明了所提訓練方法的準確性和穩定性，以及其在硬件上合成可部署策略的能力。

04? 實驗驗證

4.1 自回歸軌跡預測評估

論文第四章"Experiments"通過一系列精心設計的實驗驗證RWM的有效性。在自回歸軌跡預測評估中，作者使用ANYmalD硬件收集的軌跡分析RWM的自回歸預測性能，控制頻率設為50Hz。模型采用歷史視界M=32和預測視界N=8進行訓練，網絡架構和訓練參數的細節分別總結在附錄A.2.1和A.3.1節中。

實驗結果（圖3a）表明，RWM在所有觀測變量上展現出預測軌跡與真實軌跡的顯著對齊。這種一致性在擴展推演中持續存在，展示了模型減輕復合誤差的能力——這是長期預測中的關鍵挑戰。這種性能歸功于3.2節引入的雙自回歸機制，即使在訓練期間使用較短的預測視界也能穩定預測。圖1（底部）對比了RWM預測與真實模擬的狀態演變，可視化表明RWM能夠在遠超訓練預測視界的范圍內保持軌跡預測的一致性，這對穩定策略學習和部署至關重要。

作者特別分析了歷史視界M和預測視界N選擇的關鍵作用。附錄A.4.1的消融研究表明，雖然延長M和N都能提高準確性，但計算成本的現實考量需要仔細調整這些超參數以獲得最佳性能。這種平衡反映了機器學習中的經典權衡——模型復雜度與計算效率之間的關系，在機器人應用中尤為突出。

4.2 噪聲條件下的魯棒性測試

世界模型訓練的關鍵挑戰是其在噪聲條件下的泛化能力，特別是當預測依賴自回歸推演時。為評估RWM的魯棒性，作者分析了在觀測和動作上應用高斯噪聲擾動時的性能表現，并將結果與同樣采用自回歸訓練的MLP基線進行比較（圖3b）。

結果顯示，在所有噪聲水平上，RWM相對MLP基線具有明顯優勢。隨著預測步驟增加，MLP模型的相對預測誤差顯著增長，比RWM發散得更快。相比之下，RWM表現出更優的穩定性，即使在高噪聲水平下也能保持較低的預測誤差。這種魯棒性可歸因于3.2節引入的雙自回歸機制，該機制通過不斷針對長期預測優化狀態表示，最小化噪聲輸入下的誤差累積。

值得注意的是，噪聲魯棒性實驗設計反映了真實機器人部署的典型條件——傳感器噪聲和執行器不確定性無處不在。RWM在此條件下的優異表現為其在現實世界應用中的潛力提供了有力證據。

4.3 跨機器人環境的通用性評估

為評估RWM在多樣化機器人環境中的通用性和魯棒性，作者比較了其與多種基線方法的性能，包括MLP、循環狀態空間模型(RSSM)和基于Transformer的架構。這些基線代表了動力學建模和策略優化中廣泛采用的方法。所有模型在訓練和評估期間獲得相同的上下文，其訓練參數詳見附錄A.2.2節。

結果（圖4）突出表明，采用自回歸訓練的RWM(RWM-AR)在所有環境中** consistently實現最低預測誤差**。性能差距在復雜動態任務（如腿式機器人的速度跟蹤）中尤為明顯，這類任務中準確的長期預測對有效控制至關重要。對比還顯示RWM-AR顯著優于其teacher-forcing對應方法(RWM-TF)，證實了自回歸訓練在減輕長期推演中復合預測誤差方面的重要性。

作者特別指出，雖然基線傳統上采用teacher forcing訓練，但提出的自回歸訓練框架是架構無關的，也可應用于基線模型。當采用自回歸訓練時，RSSM達到了與提出的GRU架構相當的性能。然而，作者基于簡化和計算效率的考量選擇了GRU基礎模型。另一方面，用自回歸訓練Transformer架構效果不佳，因為自回歸預測中的多步梯度傳播會導致GPU內存限制。這些結果有力證明，結合自回歸訓練的RWM在多樣化機器人任務中實現了魯棒且可泛化的性能。

4.4 策略學習與硬件遷移實驗

使用MBPO-PPO，作者訓練了一個以目標為條件的ANYmal D速度跟蹤策略，利用RWM進行學習。策略的觀測和動作空間詳見附錄A.1.1節，架構描述見A.2.3節。獎勵公式由A.1.2節提供，訓練參數總結在A.3.2節。作者將MBPO-PPO與兩個基線進行比較：Short-Horizon Actor-Critic(SHAC)和DreamerV3。

圖5（左）顯示了策略優化過程中的模型誤差e。雖然MBPO-PPO展示了模型誤差隨訓練的顯著降低，但SHAC在整個過程中都面臨高且波動的模型誤差。SHAC依賴一階梯度進行優化，這不適合腿部運動中的不連續動力學，導致訓練期間機器人行為混亂。這些混亂行為反過來又為更新RWM產生了低質量訓練數據，加劇了模型不準確性。盡管Dreamer有效利用了其潛在空間動力學模型進行策略優化，但訓練期間較短規劃視界的依賴限制了其處理長期依賴的能力，導致策略學習中遇到適度的復合誤差。

圖5右側的獎勵r曲線顯示，MBPO-PPO的預測獎勵（虛線）最初由于策略利用模型樂觀估計中的小不準確性而超過地面真實值（實線）。隨著訓練進行，預測與地面真實更加吻合，保持足夠準確性以指導有效學習。相比之下，SHAC未能收斂，產生不穩定的行為，降低了策略和模型質量。Dreamer表現出部分收斂，相比SHAC獲得更高獎勵但顯著落后于MBPO-PPO。

為評估學習策略的魯棒性，作者在零樣本遷移設置下將其部署到ANYmal D硬件上。如圖1所示，使用MBPO-PPO學習的策略在跟蹤目標條件速度命令和在外界干擾（如意外沖擊和地形條件）下保持穩定性方面展現出可靠而魯棒的性

05? 局限性

論文第五章"Limitations"客觀討論了RWM框架的局限性，展現了作者嚴謹的科研態度。雖然通過RWM和MBPO-PPO學習的策略在魯棒性和泛化性方面超越了現有MBRL方法，但其性能仍落后于在高保真模擬器上訓練的良好調優的模型自由RL方法。這種坦誠的比較反映了當前MBRL領域的真實狀況——模型自由RL作為一個更成熟、經過廣泛優化的范式，在可以與近乎完美的模擬器進行無限交互的環境中確實表現更優。

作者清晰地劃定了MBRL的優勢領域：在精確或高效模擬不可行的場景中，如復雜現實環境下的學習和適應。表1提供了與基于高保真模擬器的PPO方法在計算和性能方面的詳細比較，顯示了RWM在樣本效率上的顯著優勢（6M vs 250M狀態轉換）和可比較的最終性能（跟蹤獎勵0.90±0.04 vs 0.90±0.03），這為方法選擇提供了實用參考。

論文指出了幾個關鍵的技術限制：

(1)世界模型預訓練需求——當前框架使用模擬數據預訓練世界模型以減少訓練不穩定性（附錄A.4.3），但從零開始訓練仍具挑戰性，因為策略可能在探索過程中利用模型不準確性，導致低效和不穩定；

(2)在線學習挑戰——需要與環境進行額外交互來微調世界模型，而直接在硬件上實現安全有效的在線學習仍然困難；

(3)安全約束整合不足——當前模擬訓練避免了潛在的硬件損壞，但將安全約束和魯棒不確定性估計納入RWM和MBPO-PPO對于現實世界的終身學習場景至關重要。

這些限制揭示了MBRL框架中固有的權衡：在數據效率、安全性和性能之間取得平衡，同時解決真實世界機器人系統的復雜性。特別是安全約束問題，作者在附錄A.5"Ethics and Societal Impacts"中進一步探討，承認該方法可能被濫用于監視或自主執法系統等應用的雙重用途潛力，同時強調了當前安全措施（如僅在模擬中訓練、限制在領域偏移下驗證的策略部署）的重要性。

未來研究方向可能包括：

(1)開發不確定性感知世界模型，通過概率輸出或集成方法量化預測不確定性，減少策略對模型誤差的利用；

(2)設計安全感知的策略優化框架，將安全約束明確納入目標函數；

(3)實現更高效的在線適應機制，減少對預訓練的依賴；

(4)開發自動恢復策略，處理硬件部署中的故障情況。

這些方向對于推動MBRL在現實機器人應用中的廣泛采用至關重要。