PPO（2017，OpenAI）核心改進點

Proximal Policy Optimization (PPO)：一種基于信賴域優化的強化學習算法，旨在克服傳統策略梯度方法在更新時不穩定的問題，采用簡單易實現的目標函數來保證學習過程的穩定性

• 解決問題：在強化學習中，直接優化策略會導致不穩定的訓練，模型可能因為過大的參數更新而崩潰
• model-free，off-policy，actor-critic

核心改進點	說明
剪切目標函數	使用剪切函數 clip 限制策略更新的幅度，避免策略大幅更新導致性能崩潰
off-policy	每個采樣數據可用于多輪更新，提升樣本利用率，提高學習效率

---

PPO 網絡更新

策略網絡

PPO 使用舊策略和新策略的比值來定義目標函數，在保持改進的同時防止策略變化過大：

$$L^{CLIP}(\theta )={\mathbb{E}}_t\left[\min \left(r_t(\theta )A_t,\text{clip}(r_t(\theta ),1??,1+?)A_t\right)\right],\text{where?}{r}_t=\frac{{\pi }_{\theta }(a_t|s_t)}{{\pi }_{{\theta }_{\text{old}}}(a_t|s_t)}$$

• Advantage 優勢函數 $A_t$：如 $Q(s_t,a_t)?V(s_t)$
• 剪切系數 $?$：如 0.2

價值網絡

$$L^{VF}({\theta }^{\mu })={\mathbb{E}}_t\left[(V_{{\theta }^{\mu }}(s_t)?R_t{)}^2\right]$$

• 真實或估算的回報 $R_t$：如 ${\sum }_{k=0}^n={\gamma }^k{r}_{t+k}$

總損失函數

PPO 的總損失是策略損失、值函數損失和熵正則項 (鼓勵探索) 的加權和：

$$L(\theta )=L^{CLIP}(\theta )?c_1{L}^{VF}({\theta }^{\mu })+c_{2}H(\pi (s_t))$$

• $c_1,c_2$：權重系數，常用 $c_1=0.5$, $c_2=0.01$

---

基于 stable_baselines3 的快速代碼示例

import gymnasium as gym
from stable_baselines3 import PPO# 創建環境
env = gym.make("CartPole-v1")
env.reset(seed=0)# 初始化模型
model = PPO("MlpPolicy", env, verbose=1)# 訓練模型
model.learn(total_timesteps=100_000)
model.save("ppo_cartpole_v1")# 測試模型
obs, _ = env.reset()
total_reward = 0
for _ in range(200):action, _ = model.predict(obs, deterministic=True) obs, reward, terminated, truncated, _ = env.step(action)total_reward += rewardif terminated or truncated:breakprint("Test total reward:", total_reward)

---

參考資料：PPO 詳解