自動車レースでは、高速で走行する車両を安定させながら他の車両を追い越したりブロックしたりするなど、複雑で戦術的ドライビングを行わなければならない。PlayStation のゲームシリーズである「グランツーリスモ」では実際のレース車両にみられる非線形制御の難しさを忠実に再現しており、FIA公認の世界大会では現実のモータースポーツと同じレギュレーションでレースが行われている。本講演では、リアルドライビングシミュレーター 『グランツーリスモSPORT』において、世界最高レベルのeスポーツプレイヤーたちに勝利したAIレーサー Gran Turismo Sophy を紹介し、このチャレンジに含まれる技術課題とそれを解決した手法、そして今後の展望について述べる。

この開発では、モデルフリー深層強化学習アルゴリズムと混合シナリオによる学習の組み合わせ、さらにクラウドゲーミングインフラストラクチャー上の多数のPlayStation 4を利用した大規模な分散学習によって、並外れたラップタイムと優れた戦術を兼ね備えたレーシングAIを学習させた。このAIは様々なドライビングスキルをその時々の状況に応じて自在に使いこなすだけでなく、世界トップレベルのプレイヤーたちを相手に、レースのマナーを尊重しながらも互いに安全限界のぎりぎりでしのぎを削るエキサイティングなレースを行うことができた。この結果をもとに、ゲーム内の複雑で動的なシステムの実時間制御に対して深層強化学習手法を用いることの可能性と課題についても議論する。