首先回顧狀態價值函數和動作價值函數的定義：
狀態價值函數$v_{\pi }(s)$是從狀態$s$出發，直至一幕結束后獲得的回報的期望值
動作價值函數$q_{\pi }(s,a)$是從狀態$s$出發，采取動作$a$后，直至一幕結束后獲得的回報的期望值
以下面這張回溯圖為例：

從狀態$s$出發有三個動作可以選，選擇的概率為$\pi (a_i|s)$，一旦選擇了動作$a_i$，后續獲得的回報為$q_{\pi }(s,a_i)$，而狀態價值函數是從狀態$s$出發回報的期望值，因此需要按動作被選擇的概率對動作價值進行加權求和，即：
$$v_{\pi }(s)=\pi (a_1|s)q_{\pi }(s,a_1)+\pi (a_2|s)q_{\pi }(s,a_2)+\pi (a_3|s)q_{\pi }(s,a_3)$$
更一般地，狀態價值與動作價值的關系為：
$$v_{\pi }(s)=\sum _{a\in \mathcal{A}}\pi (a|s)q_{\pi }(s,a)$$
在采取動作$a$后，智能體會以一定概率獲得一個獎勵$r$，并轉移到下一個狀態$s^{\prime }$，這個概率記作$p(s^{\prime },r|s,a)$。$q_{\pi }(s,a)$和下一個狀態$s^{\prime }$的狀態價值之間存在以下關系：
$$q_{\pi }(s,a)=\sum _{s^{\prime }\in S}\sum _{r\in R}p(s^{\prime },r|s,a)[r+\gamma v_{\pi }(s^{\prime })]$$

這個關系通過下面的回溯圖很容易理解，因為動作價值是期望值，而獎勵$R_{t+1}$和下一個狀態$S_{t+1}$都是隨機變量，求期望值需要對隨機變量不同取值按概率加權求和。

聯立上面兩個式子就得到狀態價值函數的貝爾曼方程：
$$v_{\pi }(s)=\sum _{a\in \mathcal{A}}\pi (a|s)\sum _{s^{\prime }\in S}\sum _{r\in R}p(s^{\prime },r|s,a)[r+\gamma v_{\pi }(s^{\prime })]$$
同樣可以得到動作價值函數的貝爾曼方程：
$$q_{\pi }(s,a)=\sum _{s^{\prime }\in S}\sum _{r\in R}p(s^{\prime },r|s,a)[r+\gamma \sum _{a^{\prime }\in \mathcal{A}}\pi (a^{\prime }|s^{\prime })q_{\pi }(s^{\prime },a^{\prime })]$$