DQN 的改進歷程（圖片來源于 DeepMind 官方博客） 強化學習的挑戰(zhàn) 為實現(xiàn)目前的 SOTA 表現(xiàn)，DeepMind 的 Agent57 使用強化學習算法，并同時運行在多臺電腦上，這些 AI 賦能的智能體在環(huán)境中選擇能夠最大化獎賞的動作去執(zhí)行。強化學習在電子游戲領(lǐng)域已經(jīng)展現(xiàn)出了極大的潛力——OpenAI 的 OpenAI Five 和 DeepMind 的 AlphaStar RL 智能體分別打敗了 99.4% 的 Dota 2 玩家和 99.8% 的星際 2 玩家。然而研究人員指出，這并不意味著目前的強化學習方法就無懈可擊了。 RL 中存在長期信度分配（credit assignment）問題，也就是根據(jù)信度選取最能夠產(chǎn)生之后好/壞結(jié)果的動作。當獎賞信號具有延遲并且信度分配需要跨越較長動作序列時，以上問題變得尤為困難。另外 RL 還存在探索和災難性遺忘的問題。智能體在游戲中獲得第一個正獎賞之前，可能需要執(zhí)行上百個動作，并且智能體很容易被困在從隨機數(shù)據(jù)里尋找規(guī)律的過程中，或當學習新的信息時突然忘記之前已學到的信息。 NGU（Never Give Up）是一種在兩個層面上通過從內(nèi)部產(chǎn)生固有獎賞來增強獎勵信號的技術(shù)：在單個 episode 中的短期新穎激勵和跨越多個 episode 的長期新穎激勵。使用 episodic 記憶，NGU 學會了一系列用于探索和利用（exploring and exploiting）的策略，最終目標是利用習得策略獲得游戲的最高得分。 為解決以上問題，DeepMind 團隊在 NGU 基礎(chǔ)上構(gòu)建了新的 RL 算法。NGU 的缺陷之一為：其通過不同策略來收集相同數(shù)量的經(jīng)驗，而忽略了不同策略在學習過程中的貢獻。與之不同的是，DeepMind 的實現(xiàn)將其探索策略貫穿在智能體的整個生命周期中，這使得智能體能夠根據(jù)其所處的不同游戲有針對性地學習策略。 兩種 AI 模型+元控制器：Agent 57實現(xiàn)最佳策略選擇
Agent57 總體框架（圖片來源于 DeepMind 官方博客） 至于 Agent57 的具體架構(gòu)，它通過將眾多 actor 饋入到學習器可以采樣的一個中央存儲庫（經(jīng)驗回溯緩沖器），進而實現(xiàn)數(shù)據(jù)收集。該緩沖器包含定期剪枝的過渡序列，它們是在與獨立、按優(yōu)先級排列的游戲環(huán)境副本交互的 actor 進程中產(chǎn)生的。 DeepMind 團隊使用兩種不同的 AI 模型來近似每個狀態(tài)動作的價值（state-action value），這些價值能夠說明智能體利用給定策略來執(zhí)行特定動作的好壞程度，這樣就使得 Agent57 智能體可以適應(yīng)與獎勵相對應(yīng)的均值與方差。他們還整合了一個可以在每個 actor 上獨立運行的元控制器，從而可以在訓練和評估時適應(yīng)性地選擇使用哪種策略。
