策略梯度方法

數學背景

給定一個標量函數$J\left(\theta \right)$，利用梯度上升法，使其最大化，此時的${\pi }_{\theta }$就是最優策略。
$${\theta }_{t+1}={\theta }_t+\alpha {?}_{\theta }J({\theta }_t)$$

標量函數$J(\theta )$

就是上面提到的最優指標$J$，一般有以下幾種定義：

1. 平均狀態價值
   $${\bar{v}}_{\pi }=\sum _{s\in \mathcal{S}}{d}_{\pi }(s)v_{\pi }(s)=\mathbb{E}\left[v_{\pi }(S)\right]$$
   如果$d$與$\pi$無關，那么記$d_{\pi }=d_0$，就Grid World問題，由于狀態價值$v$是回報的期望，考慮兩種具體情況：

   • 起始在隨機位置，均勻考慮每個狀態價值：$d_0=1/|\mathcal{S}|$
   • 起始在固定位置，只考慮$s_0$狀態價值即可：$d_0(s_0)=1,d_0(s\ne s_0)$

   如果$d$與$\pi$有關，求解$d_{\pi }^T{P}_{\pi }=d_{\pi }^T$得到$d_{\pi }$，其中$P_{\pi }$是在策略$\pi$下的狀態轉移矩陣。此時，如果一個狀態經常出現，對應的$d(s)$就會變大。

2. 平均瞬時獎勵
   $${\bar{r}}_{\pi }=\sum _{s\in \mathcal{S}}{d}_{\pi }(s)r_{\pi }(s)=\mathbb{E}\left[r_{\pi }(S)\right]$$

   其中$r_{\pi }(s)$是agent在某狀態按策略$\pi$在動作空間中采取動作的瞬時獎勵
   $$r_{\pi }(s)=\sum _{a\in \mathcal{A}}\pi (s\mid a)r(s,a)$$

   此定義與episode reward等價，即當episode長度無限大時，$s$按$d_{\pi }$分布，即
   $$\underset{n\to \infty }{\lim }\frac{1}{n}\mathbb{E}[\sum _{k=1}^n{R}_{t+k}]?{\bar{r}}_{\pi }$$

$J(\theta )$的梯度

上面兩類指標函數的梯度都可以寫成：
$$\begin{array}{rl}{?}_{\theta }J(\theta )& =\sum _{s\in \mathcal{S}}\eta (s)\sum _{a\in \mathcal{A}}{?}_{\theta }\pi (a|s,\theta )q_{\pi }(s,a)\\ & =\sum _{s\in \mathcal{S}}\eta (s)\sum _{a\in \mathcal{A}}\pi (a|s,\theta ){?}_{\theta }\log \pi (a|s,\theta )q_{\pi }(s,a)\\ & =\mathbb{E}[{?}_{\theta }\log \pi (A|S,\theta )q_{\pi }(S,A)]\end{array}$$
其中，$S～\eta$，$A～\pi (a|s,\theta )$

訓練時，使用隨機近似的梯度：
$${?}_{\theta }J\approx {?}_{\theta }\log \pi (a|s,\theta )q_{\pi }(s,a)$$

REINFORCE偽代碼