首頁>資訊 >
登上《自然》封面的索尼賽車AI,是如何擊敗人類頂級車手的? 2022-02-12 16:41:16  來源:36氪

作為這個(gè)世代中為數(shù)不多的擬真賽車游戲,《GT賽車Sport》的玩家們可能從來沒有想過,自己玩的游戲,有天會(huì)登上世界頂級科學(xué)期刊《自然》(Nature)的封面。

在昨天,索尼公布了一款由其旗下AI部門開發(fā)的人工智能技術(shù),同時(shí)它也相應(yīng)地成為了本周《自然》的“封面人物”,而這個(gè)人工智能的成就,是在《GT賽車Sport》中擊敗了全球一流賽車游戲選手們。

Nautre第7896期封面

或者,用“征服”這個(gè)詞來形容更為合適。在索尼演示的四位AI車手與四名職業(yè)賽車玩家的對決中,冠軍AI的最高圈速比人類中的最優(yōu)者快了兩秒有余。對一條3.5英里長度的賽道而言,這個(gè)優(yōu)勢一如AlphaGo征服圍棋。

在近五年的研發(fā)時(shí)間里,這個(gè)由索尼AI部門、SIE還有PDI工作室(也就是《GT賽車》開發(fā)商)共同研發(fā)的AI完成了這個(gè)目標(biāo)。

索尼為這個(gè)AI起名為GT Sophy。“索菲”是個(gè)常見的人名,源自希臘語σοφ?α,意為“知識與智慧”。

Sophy和一般的游戲AI有什么區(qū)別?

AI在游戲中打敗人類,并不是一件稀奇事。OpenAI在“冥想訓(xùn)練”了成千上萬場DOTA2后擊敗過當(dāng)時(shí)的Ti8冠軍OG,谷歌的AlphaStar也曾面對《星際爭霸2》的頂級職業(yè)選手時(shí)表現(xiàn)過碾壓態(tài)勢,而我們每個(gè)普通玩家,也都嘗過“電腦[瘋狂的]”的苦頭。

2019年,OpenAI曾經(jīng)在僅開放部分英雄選用的限制條件下?lián)魯∵^OG

但這些“打敗”并非一回事。要明白GTS中的AI車手Sophy意味著什么,首先要明確Sophy和其一個(gè)單純“你跑不過的AI”有什么區(qū)別。

對過往賽車游戲里的AI而言,盡管呈現(xiàn)形式都是游戲中非玩家控制的“智能體”,但傳統(tǒng)意義上的AI車手通常只是一套預(yù)設(shè)的行為腳本,并不具備真正意義上的智能。

傳統(tǒng)AI的難度設(shè)計(jì)一般也是依賴“非公平”的方式達(dá)成的,比如在賽車游戲中,系統(tǒng)會(huì)盡可能削弱甚至消除AI車的物理模擬,讓AI車需要處理的環(huán)境參數(shù)遠(yuǎn)比玩家簡單。

而要塑造更難以擊敗的AI敵人,也不過是像RTS游戲中的AI通過暗中作弊的方式偷經(jīng)濟(jì)暴兵一樣,讓AI車在不被注意的時(shí)刻悄悄加速。

所以對于具備一定水平的玩家而言,賽車游戲里的傳統(tǒng)AI在行為邏輯和策略選擇上幾乎沒有值得參考的點(diǎn),遑論職業(yè)賽車游戲選手。

而Sophy則是和AlphaGo一樣,通過深度學(xué)習(xí)算法,逐漸在模擬人類的行為過程中達(dá)到變強(qiáng):學(xué)會(huì)開車,適應(yīng)規(guī)則,戰(zhàn)勝對手。

這種AI帶給玩家的,完全是“在公平競爭中被擊敗”的體驗(yàn)。在被Sophy擊敗后,一位人類車手給出了這樣的評價(jià):“(Sophy)當(dāng)然很快,但我更覺得這個(gè)AI有點(diǎn)超乎了機(jī)器的范疇……它像是具備人性,還做出了一些人類玩家從未見過的行為?!?/p>

這難免再次讓人聯(lián)想到重新改寫了人類對圍棋理解的AlphaGo。

相對于圍棋這種信息透明的高度抽象游戲,玩法維度更多、計(jì)算復(fù)雜度更高的電子游戲,在加入深度學(xué)習(xí)AI之后,其實(shí)一直很難確保“公平競技”的概念。

例如在2019年征戰(zhàn)《星際爭霸2》的AlphaStar,基本沒有生產(chǎn)出新的戰(zhàn)術(shù)創(chuàng)意,只是通過無限學(xué)習(xí)人類選手的戰(zhàn)術(shù),再通過精密的多線操作達(dá)成勝利——即便人為限制了AlphaStar的APM,AI完全沒有無效操作的高效率也并非人類可比。

這也是為什么在AlphaStar與人類職業(yè)選手的對抗記錄里,當(dāng)AI用“三線閃追獵”這樣的神仙表演擊敗波蘭星靈選手MaNa后,并不服氣的MaNa在賽后采訪中說出了“這種情況在同水平的人類對局中不可能出現(xiàn)”這樣的話。

AlphaStar用追獵者“逆克制關(guān)系”對抗MaNa的不朽者部隊(duì)

同樣,《GT賽車》也是一款與《星際爭霸2》具備同樣復(fù)雜度的擬真賽車游戲。

在專業(yè)賽車玩家的眼中,路線、速度、方向,這些最基本的賽車運(yùn)動(dòng)要素都可以拆解為無數(shù)細(xì)小的反應(yīng)和感受,車輛的重量、輪胎的滑移、路感的反饋……每條彎道的每次過彎,都可能存在一個(gè)絕佳的油門開度,只有最頂級的車手可以觸摸到那一縷“掌控”的感覺。

在某種意義上來講,這些“操縱的極限”當(dāng)然能夠被物理學(xué)解釋,AI能掌握的范圍顯然要大于人類。所以,Sophy的反應(yīng)速度被限制在人類的同一水平,索尼為它分別設(shè)置了100毫秒、200毫秒和250毫秒的反應(yīng)時(shí)間——而人類運(yùn)動(dòng)員在經(jīng)過練習(xí)后對特定刺激的反應(yīng)速度可以做到150毫秒左右。

無疑,這是一場比AlphaStar更公平的戰(zhàn)斗。

Sophy學(xué)會(huì)了什么

和Sophy為數(shù)眾多的AI前輩一樣,它也是利用神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)算法來進(jìn)行駕駛技巧的訓(xùn)練。

Sophy在訓(xùn)練環(huán)境中會(huì)因?yàn)椴煌男袨樵馐芟鄳?yīng)獎(jiǎng)勵(lì)或者懲罰——高速前進(jìn)是好的,超越前車則更好;相應(yīng)地,出界或者過彎時(shí)候撞墻就是“壞行為”,AI會(huì)收獲負(fù)反饋。

在上千臺串聯(lián)起的PS4組成的矩陣中,Sophy經(jīng)受了無數(shù)次模擬駕駛訓(xùn)練,在上述學(xué)習(xí)里更新自己對《GT賽車Sport》的認(rèn)知。從一個(gè)不會(huì)駕駛的“嬰兒”到開上賽道,Sophy花費(fèi)了數(shù)個(gè)小時(shí)的時(shí)間;一兩天后,從基礎(chǔ)的“外內(nèi)外”行車線開始,Sophy已經(jīng)幾乎學(xué)會(huì)了所有常見的賽車運(yùn)動(dòng)技巧,超越了95%的人類玩家。

索尼AI部門為Sophy搭建的“訓(xùn)練場”

然而,賽車并不是一個(gè)人的游戲。即便Sophy在去年7月份的比賽中,已經(jīng)可以沒有其他賽車的情況下?lián)碛谐鲰敿壢祟愡x手的計(jì)時(shí)賽成績,但在真實(shí)的多人游戲中,Sophy還需要學(xué)會(huì)與對手進(jìn)行對抗上的博弈,理解其他車手的行為邏輯。

因此,索尼AI部門的科研人員對Sophy進(jìn)行了更多的“加練”,比如面對其他車時(shí)如何插線超車、阻擋卡位。到最后,Sophy甚至還被“教育”到能夠理解和遵守賽車運(yùn)動(dòng)中的比賽禮儀——比如作為慢車時(shí)進(jìn)行讓車,同時(shí)避免不禮貌的惡意碰撞。

賽車游戲中的AI車,一般即便會(huì)嘗試躲避與玩家擦碰,其實(shí)現(xiàn)方式也只是不自然地閃躲。而Sophy呈現(xiàn)出的“比賽理解”,都是依靠腳本運(yùn)行的傳統(tǒng)賽車AI無法做到的。

到了10月,Sophy已經(jīng)可以在正式的同場比賽中擊敗最頂級的人類選手。

索尼邀請的四位人類車手,其中包括GT錦標(biāo)賽三冠王宮園拓真

比如第一場在Dragon Trail(龍之徑)上進(jìn)行的比賽。作為《GT賽車Sport》的駕駛學(xué)校尾關(guān),每個(gè)GTS玩家應(yīng)該都相當(dāng)熟悉這條賽道(以及DLC中的“漢密爾頓挑戰(zhàn)”)。在數(shù)萬個(gè)小時(shí)的訓(xùn)練過后,排名第一的Sophy車手已經(jīng)可以踩著絕對的最優(yōu)路線保持全程第一。

而在四個(gè)Sophy與四位人類車手角逐的第二個(gè)比賽日中,AI們的優(yōu)勢進(jìn)一步擴(kuò)大了——幾乎達(dá)成了對頂級人類玩家的碾壓。

如果只是在路線的選擇和判斷上強(qiáng)過人類,用更穩(wěn)定的過彎來積累圈速優(yōu)勢,這可能還沒什么大不了的。

但研究者們認(rèn)為,Sophy幾乎沒有利用在用圈速上的絕對優(yōu)勢來甩開對手(也就是AI身為非人類在“硬實(shí)力”上更強(qiáng)的部分),反而在對比賽的理解上也超過了人類玩家,比如預(yù)判對手路線的情況下進(jìn)行相應(yīng)的對抗。

在《自然》論文所舉的案例中,兩名人類車手試圖通過合法阻擋來干擾兩個(gè)Sophy的首選路線,然而Sophy成功找到了兩條不同的軌跡實(shí)現(xiàn)了超越,使得人類的阻擋策略無疾而終,Sophy甚至還能想出有效的方式來擾亂后方車輛的超車意圖。

Sophy還被證明能夠在模擬的薩爾特賽道(也就是著名的“勒芒賽道”)上執(zhí)行一個(gè)經(jīng)典的高水平動(dòng)作:快速駛出前車的尾部,增加對前車的阻力,進(jìn)而超越對手。

更令研究者稱奇的是,Sophy還搗鼓出了一些非常規(guī)的行為邏輯,聽上去就像AlphaGo用出新的定勢一樣。通常,賽車手接受的教育都是在過彎時(shí)“慢進(jìn)快出”,負(fù)載只在兩個(gè)前輪上。但Sophy并不一定會(huì)這么做,它會(huì)在轉(zhuǎn)彎時(shí)選擇性制動(dòng),讓其中一個(gè)后輪也承受負(fù)載。

而在現(xiàn)實(shí)中,只有最頂級的F1車手,比如漢密爾頓和維斯塔潘,正在嘗試使用這種三個(gè)輪胎快速進(jìn)出的技術(shù)——但Sophy則完全是在游戲世界中自主學(xué)會(huì)的。

曾經(jīng)取得三次GT錦標(biāo)賽世界冠軍的車手宮園拓真在與AI的對抗中落敗后說,“Sophy采取了一些人類駕駛員永遠(yuǎn)不會(huì)想到的賽車路線……我認(rèn)為很多關(guān)于駕駛技巧的教科書都會(huì)被改寫?!?/p>

“為了更好地了解人類”

區(qū)別于以往出現(xiàn)在電子游戲中的先進(jìn)AI們(比如AlphaStar),Sophy的研究顯然具備更廣義、更直接的現(xiàn)實(shí)意義。

參與《自然》上這篇論文撰寫的斯坦福大學(xué)教授J.Christian Gerdes就指出,Sophy的成功說明神經(jīng)網(wǎng)絡(luò)在自動(dòng)駕駛軟件中的作用可能比現(xiàn)在更大,在未來,這個(gè)基于《GT賽車》而生的AI想染會(huì)在自動(dòng)駕駛領(lǐng)域提供更多的幫助。

索尼AI部門的CEO北野宏明也在聲明中表示,這項(xiàng)AI研究會(huì)給高速運(yùn)作機(jī)器人的研發(fā)以及自律型駕駛技術(shù)帶來更多的新機(jī)會(huì)。

Sophy項(xiàng)目官網(wǎng)的介紹

但如果我們將目光挪回作為擬真賽車游戲的《GT賽車》本身,Sophy的出現(xiàn),對大眾玩家和職業(yè)車手而言同樣具備不菲的意義。

正如文章前面所說,在目前市面上大多數(shù)擬真賽車游戲中,“傳統(tǒng)AI”已經(jīng)是一個(gè)完全不能帶給玩家任何樂趣的事物。這種依賴不公平條件達(dá)成的人機(jī)對抗,與賽車游戲開發(fā)者希望帶給玩家的駕駛體驗(yàn)是相悖的,人類玩家也無法從中獲得任何教益。

在索尼AI部門發(fā)布的紀(jì)錄片中,“GT賽車之父”山內(nèi)一典就表示,開發(fā)無與倫比的AI可能是一項(xiàng)了不起的技術(shù)成就,但這對普通玩家來說可能不是什么直白的樂趣。

因此,山內(nèi)承諾在未來的某個(gè)時(shí)候,索尼會(huì)將Sophy帶入到三月份即將發(fā)售的《GT賽車7》中。當(dāng)Sophy能夠更加了解賽場上的環(huán)境和條件,判斷其他車手的水平,一個(gè)這樣智能又具備風(fēng)度的AI,就能夠在與人類比賽時(shí),為玩家提供更多真實(shí)的快樂。

在擬真賽車游戲逐漸“小圈子化”,眾多廠商都做不好面對純新玩家的入門體驗(yàn)的今天,或許一個(gè)AI老師的存在,有機(jī)會(huì)能給虛擬世界中的擬真駕駛帶來更多的樂趣,就像《GT賽車4》的宣傳片片頭所說,“體驗(yàn)汽車生活”。

這可能才是一個(gè)基于游戲而生的AI能為玩家?guī)淼淖钪匾臇|西——如同山內(nèi)一典對Sophy項(xiàng)目的評論, “我們不是為了打敗人類而制造人工智能——我們追求人工智能,是為了最終更好地了解人類?!?/p>

本文來自微信公眾號“游戲研究社”(ID:yysaag),作者:AriaX,36氪經(jīng)授權(quán)發(fā)布。

關(guān)鍵詞:

相關(guān)閱讀:
熱點(diǎn)
圖片 圖片