PG（1984，Sutton） 核心改進點

策略梯度算法 (PG): 直接對策略函數進行建模，可以適用于連續的動作空間

• model-free, on-policy, PG, stochastic 策略

核心改進點	說明
策略梯度優化	通過Actor網絡直接優化策略，適應連續動作問題: ${\theta }_{new}={\theta }_{old}+\alpha {?}_{\theta }J(\theta )$

PG 網絡更新 – 基于蒙特卡洛估計的 REINFORCE

$${?}_{\theta }J(\theta )\approx \sum _{t=0}^{T?1}{?}_{\theta }\log {\pi }_{\theta }(a_t|s_t)G_t，\text{where?}{G}_t=\sum _{t^{\prime }=t}^T{\gamma }^{t^{\prime }?t}{r}_{t^{\prime }}$$

---

詳細網絡更新公式推導

策略更新目標：使得 $\theta$ 策略下得到的所有軌跡 $\tau$ 的回報期望 ${\bar{R}}_{\theta }$ 最大化: 可以用 N 條軌跡的均值近似

• τ = { s 1 , a 1 , r 1 , s 2 , a 2 , r 2 , … , s τ , a τ , r τ } \tau = \{s_1, a_1, r_1, s_2, a_2, r_2, \dots, s_\tau, a_\tau, r_\tau\} τ={s1?,a1?,r1?,s2?,a2?,r2?,…,sτ?,aτ?,rτ?}
  $${\bar{R}}_{\theta }=\sum _{\tau }R(\tau )P(\tau |\theta )\approx \frac{1}{N}\sum _n^{N}R({\tau }^n)$$

計算梯度 (近似)

$$\begin{gathered} ?{\bar{R}}_{\theta }=\sum _{\tau }R(\tau )?P(\tau |\theta )=\sum _{\tau }R(\tau )P(\tau |\theta )\frac{?P(\tau |\theta )}{P(\tau |\theta )}=\sum _{\tau }R(\tau )P(\tau |\theta ){?}_{\theta }\log P(\tau |\theta ) \\ \approx \frac{1}{N}\sum _{n=1}^{N}R({\tau }^n){?}_{\theta }\log P({\tau }^n|\theta ) \end{gathered}$$

• 注：轉為 log 時利用了公式 $$\frac{d\log (f(x))}{dx}=\frac{1}{f(x)}?\frac{df(x)}{dx}$$

其中，${?}_{\theta }\log P({\tau }^n|\theta )$ 可以做進一步表示

$$\begin{gathered} P(\tau |\theta )=p(s_1)\prod _{t=1}^{T}p(a_t|s_t,\theta )p(r_t,s_{t+1}|s_t,a_t) \\ \log P(\tau |\theta )=\log p(s_1)+\sum _{t=1}^T\log p(a_t|s_t,\theta )+\log p(r_t,s_{t+1}|s_t,a_t) \\ {?}_{\theta }\log P(\tau |\theta )=\sum _{t=1}^T{?}_{\theta }\log p(a_t|s_t,\theta ) \end{gathered}$$

所以梯度 (近似)的表示更新為

$$?{\bar{R}}_{\theta }\approx \frac{1}{N}\sum _{n=1}^N\sum _{t=1}^{T^n}R({\tau }^n){?}_{\theta }\log p(a_t^n|s_t^n,\theta )$$

• 注：梯度用的是總的回報 $R({\tau }^n)$ 而不是 $a_t^n$ 對應的即時獎勵，也就是說，總的回報會增強/減弱軌跡上所有有利/有害的動作輸出；進一步，由于對于第 t 個step，所選擇的動作只會影響未來的 $$U_t^n=\sum _t^{T^n}{r}_t^n$$ 所以 $R({\tau }^n)$ 可以被優化為 $U_t^n$，對應本文一開始所給出的梯度公式

關于如何理解這個梯度，李宏毅老師類比分類學習的講法也很有啟發，強烈推薦學習下 【PG 李宏毅 B 站】

進一步的 還可以通過添加 baseline 等方法進一步優化表現

• 解決全正數值的獎勵導致的 – 沒有被 sample 到的 action 輸出概率會下降 (因為其他被 sample 到了的 actions，獲得了正數值的獎勵導致其被視為 有利的動作，進而被增強了其的輸出) 的問題

---

基于 stable_baselines3 的快速代碼示例

• 見后續 PPO 算法章節

---

參考資料：策略梯度算法(PG)詳解