【CEDEC 19】《FF XV》團隊談如何以深度學習自動製作遊戲敵人的 AI

針對遊戲開發者舉辦的交流講座活動「CEDEC 2019」,在 2019 年 9 月 4 日至 6 日間於日本橫濱國際平和會議場舉行。在以下報導當中,就要和大家介紹這種獨特嘗試為主題的講座。

講座中登壇的主講者是 Luminous Productions 的程式設計師--。他在進入 SQUARE ENIX 公司後,參與遊戲引擎的開發,並在Final Fantasy XV當中負責搭載 AI 相關的各種要素。因此上段設計師進行的技術實證,就是以《Final Fantasy XV》風格的戰鬥作為主題,探討如何使用深度學習技術,在盡可能壓低各種成本的前提下製作出敵人角色的 AI。

想要製作敵人角色的 AI,過去通常是透過編寫腳本語言,或者是採用參數表等手法來製作。

而 Luminous Studio 則是採用稱為的工具,讓並非程式技術人員的成員也可以參與製作 AI,但上段設計師表示,即使如此依然無法避免需要編程能力的作業出現。在實際製作遊戲時,要加入多少種怪物,就必須要重覆多少次這種 AI 製作過程,所以要投注在上面的各種成本相當可觀。所以他們才會想到,這樣的點子。使用 AI 的深度學習技術,光靠持續模擬各種情況就可以完成敵人角色的 AI,在需要量產時也會更加輕鬆。

這時設定的目標為以下三項:

其中第一項是為了節省人力,第二項是要製作出看起來夠水準的 AI,這些都很好理解,但為什麼必須要在之後還能透過人工來調整呢?

這是因為最終目的並不是單純製作出更強悍的 AI,比如說已經學習到某個怪獸動作最佳解的 AI,就會展現出完全沒有任何破綻非常機械性的動作,擊垮玩家。這種敵人的確是,但是站在玩家立場來看一點也不好玩。做為玩家遊戲對手的 AI,必須要刻意製造出破綻來承受玩家攻擊,或是以讓玩家方便攻略的模式加以行動,並在此前提下,表現出像或有勇猛或有膽小的個性才行。

所以才必須要準備好讓企劃人員能在完成後再自行調整的系統。

在這次專案中最關鍵的一點,就是「強化學習」

就這次專案來說,和等行動就可獲得報酬。所以 AI 就會在多次模擬中學習到哪些行動能獲得報酬,並且讓行動模式趨向能夠獲得更多的報酬。

上段設計師使用的是名為(Deep Q Network)的 AI 程式,DQN 當然也會學習要怎麼做才會獲得更多報酬,但還會同時考慮到代表「將來有可能會獲得的報酬」,被稱為 的數值。

也就是說,有可能會排除當下可以直接獲得報酬的行動,選擇在經過一段時間之後,有可能會獲得更多報酬的行動。以上對於外行人來說,可能是難以理解的事情,但總之只要先了解到,「採取適合敵人角色的行動,就可以獲得報酬的 AI,會為了獲得更多的報酬而持續學習」,這樣子應該也就足夠了。

社群回應
PChome會員回應