0 前言

根據上一章的內容，已知完全合作關系下的多智能體利益一致有相同的目標，而非合作關系下實際上智能體的獎勵和回報都是不一樣的，它們都在努力讓自己的利益最大化而并不考慮整體利益。

1 非合作關系設定下的策略學習

要注意的點：

• 狀態$S=[O^1,O^2,?,O^m]$，所有智能體的觀測之和是狀態。
• 動作$A=[A^1,A^2,?,A^m]$。
• 獎勵并不相同，相對的實際上價值網絡的參數對于每個智能體來說也不一樣。

目標函數：

完全合作關系：該部分我們回憶一下上一節中的完全合作關系下的智能體：$J({\theta }^1,?,{\theta }^m)=E_s[V_{\pi }(s)]$，我們只需要找到讓目標函數$J({\theta }^1,?,{\theta }^m)$最大的$\theta$就可以得到最后用來決策的策略網絡。
非合作關系：由于每個智能體的狀態價值都不同，所以每個智能體的目標函數也不同
狀態價值：$V^1(s),V^2(s),?,V^m(s)$.
目標函數：$J^1({\theta }^1,?,{\theta }^m)=E_s[V_{\pi }^1],J^2({\theta }^1,?,{\theta }^m)=E_s[V_{\pi }^2],?,J^m({\theta }^1,?,{\theta }^m)=E_s[V_{\pi }^m]$每一個智能體都希望自己的目標函數最大，最終確定一個$\theta$值。這個問題涉及到一個收斂準則，叫納什均衡。

下面會對納什均衡做一個簡單的介紹。
納什均衡（Nash Equilibrium）：是博弈論中的一個核心概念。
舉個例子來說這個問題：

囚徒A\B	沉默（合作）	背叛（不合作）
沉默（合作）	（-1，-1）	（-10，0）
背叛（不合作）	（0，-10）	（-5，-5）

上表描述了一個囚徒困境的問題，警官分別審問囚徒A和囚徒B，那么根據囚徒所采取的不同動作，會得到不同的結果：

1. 如果囚徒A和囚徒B都沉默，那么各判1年
2. 如果囚徒A沉默、囚徒B背叛，那么囚徒A判10年，囚徒B釋放
3. $?$

那么在完全合作關系下，實際上如果囚徒A和囚徒B都沉默，那么總體判的最少。
在非合作關系下，每個智能體只考慮自己，那么實際上不管囚徒A選什么，背叛都是囚徒B最好的選擇。所以最后即 如果囚徒A和囚徒B都背叛，那么各判5年。從總體上來看當然不是最好的選擇，但是它是個人理性的選擇結果。

2 非合作關系設定下的多智能體A2C

目標函數：$J^1({\theta }^1,?,{\theta }^m)=E_s[V_{\pi }^1],J^2({\theta }^1,?,{\theta }^m)=E_s[V_{\pi }^2],?,J^m({\theta }^1,?,{\theta }^m)=E_s[V_{\pi }^m]$

智能體1：最大化 $J^1({\theta }^1,?,{\theta }^m)=E_s[V_{\pi }^1]$
智能體2：最大化 $J^2({\theta }^1,?,{\theta }^m)=E_s[V_{\pi }^2]$
$?$
智能體m：最大化 $J^m({\theta }^1,?,{\theta }^m)=E_s[V_{\pi }^m]$

2.1 價值網絡

價值網絡輸入是環境，輸出是一個值，該網絡用來是近似狀態價值函數的，記該價值網絡為$v(s,w^i)$。
注意：和完全合作的相比為一的不同就是，對于價值網絡來說，完全合作關系下$w$參數都是一樣的，非完全合作關系下每個智能體都不相同記為$w^i$
TD目標：${\hat{y}}_t=r_t+\gamma ?v(s_{t+1},w^i)$
TD誤差：${\delta }_t=v(s_t,w^i)?{\hat{y}}_t$
LOSS損失：$L(w)=\frac{1}{2}{\delta }_t^2$
更新$w^i$：$w^i\leftarrow w^i?\alpha ?{\delta }_t?{?}_{w^i}v(s_t,w^i)$

如果要防止自舉偏差，可以將TD目標中的$w^i$換一下變成$w^{i?}$。

2.2 策略網絡

同樣的我們借助目標函數$J^1(\theta ),J^2(\theta ),?,J^m(\theta )$
單個智能體的策略梯度可以表示為：
${?}_{{\theta }^i}{J}^i({\theta }^1,{\theta }^2,?,{\theta }^m)=E_{S,A}({?}_{{\theta }^i}ln(\pi (A^i|S,{\theta }^i))[Q_{\pi }^i(S,A)?b])$

2.3 訓練及決策

第i號智能體：
當前價值網絡：$w_{now}^i$，價值網絡：$v(s;w^i)$。
目標價值網絡：$w_{now}^{i?}$，目標網絡：$v(s;w^{i?})$。
策略網絡的參數：${\theta }_{now}^i$。

• 當前狀態$s_t=[o_t^1,?,o_t^m]$，讓每一個智能體獨立做隨機抽樣： $a_t^i～\pi (?|s_t;{\theta }_{now}^i)$, $?i=1,?,m,$并執行選中的動作。
• 從環境中觀測到獎勵$r_t^1,r_t^2,?,r_t^m$與下一時刻狀態$s_{t+1}=[o_{t+1}^1,?,o_{t+1}^m]$
• 讓價值網絡做預測：${\hat{v}}_t^i=v(s_t;w_{now}^i)$
• 讓目標網絡做預測：${\hat{v}}_{t+1}^{i?}=v(s_{t+1};w_{now}^{i?})$
• 計算TD目標和TD誤差：${\hat{y}}_t^{i?}=r_t^i+\gamma ?{\hat{v}}_{t+1}^{i?}$ ${\delta }_t^i={\hat{v}}_t^i?{\hat{y}}_t^{i?}$
• 更新價值網絡參數：$w_{new}^i\leftarrow w_{now}^i?\alpha ?{\delta }_t^i?{?}_{w^i}v(s_t;w_{now}^i)$
• 更新目標網絡參數：$w_{new}^{i?}\leftarrow \tau ?w_{new}^i+(1?\tau )?w_{now}^{i?}$
• 更新策略網絡參數：${\theta }_{new}^i\leftarrow {\theta }_{now}^i?\beta ?{\delta }_t^i?{?}_{{\theta }^i}ln\pi (a_t^i|s_t;{\theta }_{now}^i)$, $?i=1,?,m$