Gran Turismo Sophy: 深層強化学習によるトッププレイヤーレベルのAI
クルマや eモータースポーツに興味のある方
ゲームAI開発における強化学習の活用に興味のある方
人を楽しませるためのAI技術に興味のある方
PC と PlayStation 間で協調して先進的な研究開発を行うためのインターフェース事例
リアルなダイナミクスシミュレーション環境下での非線形運動制御課題に機械学習でアプローチする事例
勝ち負けのような明確な目標だけでなく、レースマナーのような暗黙の規範を尊重するようにAIを学習させた事例
自動車レースでは、高速で走行する車両を安定させながら他の車両を追い越したりブロックしたりするなど、複雑で戦術的ドライビングを行わなければならない。PlayStation のゲームシリーズである「グランツーリスモ」では実際のレース車両にみられる非線形制御の難しさを忠実に再現しており、FIA公認の世界大会では現実のモータースポーツと同じレギュレーションでレースが行われている。本講演では、リアルドライビングシミュレーター 『グランツーリスモSPORT』において、世界最高レベルのeスポーツプレイヤーたちに勝利したAIレーサー Gran Turismo Sophy を紹介し、このチャレンジに含まれる技術課題とそれを解決した手法、そして今後の展望について述べる。
この開発では、モデルフリー深層強化学習アルゴリズムと混合シナリオによる学習の組み合わせ、さらにクラウドゲーミングインフラストラクチャー上の多数のPlayStation 4を利用した大規模な分散学習によって、並外れたラップタイムと優れた戦術を兼ね備えたレーシングAIを学習させた。このAIは様々なドライビングスキルをその時々の状況に応じて自在に使いこなすだけでなく、世界トップレベルのプレイヤーたちを相手に、レースのマナーを尊重しながらも互いに安全限界のぎりぎりでしのぎを削るエキサイティングなレースを行うことができた。この結果をもとに、ゲーム内の複雑で動的なシステムの実時間制御に対して深層強化学習手法を用いることの可能性と課題についても議論する。