跳到主要內容

[科技]DeepMind 發表遊戲增強學習框架 OpenSpiel。


  OpenSpiel 提供了各式增強學習的研究環境以及演算法,以促進通用增強學習的發展。


  DeepMind 研究團隊發表了一個稱為 OpenSpiel 的遊戲面向增強學習框架,其提供了增強學習需要的環境以及演算法,可用於研究一般增強學習、搜尋以及規畫的研究,並提供了分析增強學習動態的工具,以及常用的評估指標。

  研究人員提到,OpenSpiel 的目標是要促進在多種遊戲類型,發展多代理增強學習,跟一般的遊戲訓練環境相似,但是更強調學習的部分而非競爭的形式。研究人員希望 OpenSpiel 可以在通用增強學習上,達到 Atari 學習環境在單一代理人增強學習的地位,對通用增強學習的發展產生重大的影響。

  OpenSpiel 提供了一個可讓研究人員在各種基準遊戲中,評估遊戲以及演算法的框架,OpenSpiel 內建了各式包括世界網格遊戲、拍賣遊戲,以及矩陣遊戲等20多種不同類型的遊戲,這些遊戲涵蓋單一或多個代理人的零和、合作、一般和對局(General-Sum)遊戲,還有一次性以及連續性遊戲研究。這些遊戲以 C++ 撰寫,並以 Python 打包。

  OpenSpiel 的演算法則是以 C++ 或是 Python 實作,官方提到,這 2 種語言的 API 幾乎相同,因此當開發者需要,能夠簡單地在這兩種語言間切換使用,而絕大部分學習演算法都是以 Python 使用 Tensorflow 撰寫,官方目前正發展 PyTorch 和 JAX 的支援。另外,OpenSpiel 函式庫的一個子集被移植到了 Swift 上,因此開發者也能在 MacOS 裝置上進行研究。

  DeepMind 只在 Linux 上測試 OpenSpiel,但研究人員提到,雖然他們沒有在 MacOS 和 Windows 上進行測試,但是在編譯以及執行上,預計不會有太大的問題發生。OpenSpiel 主要設計理念為簡單以及最小化,使用了參照實作而非完全最佳化以及高效能的程式碼,而且盡可能維持最小相依性,降低相容性問題發生的可能性。

  最近也有不少組織推出了增強學習的研究工具,像是 Google 大腦就開源了足球增強學習環境專案 Google Research Football,臉書也釋出增強學習平臺 Horizon,英特爾也在 RL Coach 中推出一系列增強學習的工具。

這個網誌中的熱門文章

[娛樂]最終未能「蟻人鑽肛門」,保羅苦笑喊「沒機會」。

  保羅路德最近正在宣傳 Netflix 最新影集「麥斯 2.0」,最近上節目「First We Feasts Hot Ones」時再度提到自己主演的漫威英雄「蟻人」在「復仇者聯盟:終局之戰」當中,未能一如眾多網友開玩笑的傳聞一樣,最後鑽入薩諾斯的肛門內擊倒他,然則保羅路德之前宣傳電影時已經揶揄這個傳聞多遍,如今再提往事,依舊脾氣極好的再度自嘲。   保羅路德在節目上說:「我真的覺得失去了一個機會。」隨後他在說完這句話之後立刻大笑,表態他在開玩笑,不過外界覺得最為誇讚的是他脾氣極好,早從去年宣傳「復仇者聯盟:無限之戰」、「蟻人與黃蜂女」時就不厭其煩想梗回應,如今再度提及此事,相當逗趣。   其實看過「復仇者聯盟:終局之戰」結尾的影迷都知道,最終是「鋼鐵人」犧牲自己來救助全世界,讓所有漫威影迷都非常喜歡這個結局,也有網友開玩笑說,看來保羅路德可以釋懷了。

[動畫]《一拳超人》第三季動畫的埼玉英雄視覺圖、特報影片、製作團隊和聲優情報公開。

  以 ONE 與村田雄介所創作的超級英雄題材動作漫畫《一拳超人》為原作,第三季電視動畫公開了主角埼玉視覺圖、特報宣傳影片、製作團隊和聲優陣容等情報。   《一拳超人》電視動畫第一季由 MADHOUSE 製作,於 2015 年 10 月開播;第二季改由 J.C.STAFF 製作,於 2019 年 4 月開播。2022 年 8 月宣布動畫第三季製作消息。目前已知第三季店是動畫將與第二季同樣由 J.C.STAFF 擔綱製作。   由 ONE 擔任原作、村田雄介負責作畫的漫畫作品《一拳超人》,描述就職過程中找不到出路的主角「埼玉」,遭遇到要奪走一位少年生命的螃蟹異變人後,回憶起年少年時「想要成為英雄」的想法,於是奮起戰鬥並救下了少年。重拾對於成為英雄的志向後,埼玉苦練了三年、以掉光所有頭髮為代價,化身成毫無弱點的超級英雄,只需一拳便能輕鬆地擊敗怪獸。之後他與弟子傑諾斯一起加入了英雄協會,開始了與眾多英雄對抗各種怪物的生活。

[科技]前Google實習生告訴你:如何進入Google實習、面試流程是什麼、實習生每天都在幹嘛?

  去Google工作是很多人的夢想,而大學時期能去Google實習更是為自己鋪平了成功之路。到底什麼樣的人才能進入Google實習?在Google實習是什麼樣子?傳聞中的那些Google福利是真是假?   日前,Fast Company 發表了一篇前 Google 實習生的日記,日記中詳細敘述了自己在Google實習的體驗。日記中說,讓他感觸最大的一點就是:「當 Google 尋找未來的員工時,除了簡歷裡的成就,他們更看重求職者是一個怎樣的人。」   過去二十年,Google 對我們的日常生活產生了巨大的影響——Android系統成為地球上最常用的系統,與此同時,它還不斷地在探索新興的硬體技術,包括 VR 頭戴裝置和無人機。   當人們談及科技行業的工作機會時,Google 總是在他們夢想加入的公司的榜首——這一點兒也不奇怪。根據 Vault 年度排名,在過去兩年,Google 一直是實習生最夢寐以求的公司,沒有之一。可是,怎樣才能得到 Google 的實習機會呢?下面就是去年夏天在 Google 實習過的史丹佛研究生 Kerry Wang 的經驗談。   在Google的角色。   我今年20歲,剛從史丹佛大學畢業。2016 年的夏天,我來到 Google 的新總部——加州山景城,開始了我的實習。實習共10周,從6月持續到8月。   我是「建立領導與發展機會(BOLD)計劃」的實習生。具體來說,我在 Google 的線上合作業務團隊擔任產品銷售負責人,主要工作是與業務團隊和工程團隊合作,在AdSense 平台上開發及推出產品。我喜歡與跨職能團隊合作,更喜歡解決他們提出的獨特問題。這些都得益於我在人類生物學和電腦科學方面的背景。   如何發現 Google 的實習機會?   BOLD 實習的申請是在我大一的時候開始的。當時,我看到一張 BOLD Discovery 的傳單,介紹說這是 Google 專門為本科生而設的計畫,地點在紐約。我決定立即申請。得知申請被透過時我簡直超級激動。在這趟包吃包住的紐約旅行中,我們用了三天時間,在 Google 總部,詳細的去瞭解公司的文化和業務。我喜歡這趟旅程中學到的東西,所以當 BOLD Discover y的招聘人員在兩年後開始招收 BOLD 實習生時,我立即提交了我的簡歷和申請。 ...