OpenSpiel 提供了各式增強學習的研究環境以及演算法,以促進通用增強學習的發展。
DeepMind 研究團隊發表了一個稱為 OpenSpiel 的遊戲面向增強學習框架,其提供了增強學習需要的環境以及演算法,可用於研究一般增強學習、搜尋以及規畫的研究,並提供了分析增強學習動態的工具,以及常用的評估指標。
研究人員提到,OpenSpiel 的目標是要促進在多種遊戲類型,發展多代理增強學習,跟一般的遊戲訓練環境相似,但是更強調學習的部分而非競爭的形式。研究人員希望 OpenSpiel 可以在通用增強學習上,達到 Atari 學習環境在單一代理人增強學習的地位,對通用增強學習的發展產生重大的影響。
OpenSpiel 提供了一個可讓研究人員在各種基準遊戲中,評估遊戲以及演算法的框架,OpenSpiel 內建了各式包括世界網格遊戲、拍賣遊戲,以及矩陣遊戲等20多種不同類型的遊戲,這些遊戲涵蓋單一或多個代理人的零和、合作、一般和對局(General-Sum)遊戲,還有一次性以及連續性遊戲研究。這些遊戲以 C++ 撰寫,並以 Python 打包。
OpenSpiel 的演算法則是以 C++ 或是 Python 實作,官方提到,這 2 種語言的 API 幾乎相同,因此當開發者需要,能夠簡單地在這兩種語言間切換使用,而絕大部分學習演算法都是以 Python 使用 Tensorflow 撰寫,官方目前正發展 PyTorch 和 JAX 的支援。另外,OpenSpiel 函式庫的一個子集被移植到了 Swift 上,因此開發者也能在 MacOS 裝置上進行研究。
DeepMind 只在 Linux 上測試 OpenSpiel,但研究人員提到,雖然他們沒有在 MacOS 和 Windows 上進行測試,但是在編譯以及執行上,預計不會有太大的問題發生。OpenSpiel 主要設計理念為簡單以及最小化,使用了參照實作而非完全最佳化以及高效能的程式碼,而且盡可能維持最小相依性,降低相容性問題發生的可能性。
最近也有不少組織推出了增強學習的研究工具,像是 Google 大腦就開源了足球增強學習環境專案 Google Research Football,臉書也釋出增強學習平臺 Horizon,英特爾也在 RL Coach 中推出一系列增強學習的工具。