近年、機械学習や深層学習などのAI研究領域の発展で、ゲームの製作においても大きく効率化や高品質化できる領域が増えてきました。

ゲーム制作では、アセット制作に関していうとテクスチャやレンダリング結果の超解像、オーディオに対する処理など様々な分野でプロダクションに活用されるものが出てきました。

株式会社バンダイナムコ研究所では、株式会社ACESと2021年度モーションキャプチャで収録したデータを対象にAIによるモーションのスタイル変換の研究開発を行いました。

モーションのスタイル変換とは、収録したモーションデータに対してAIによって、スタイル（感情やスタイル、性別や年齢などの属性）を適用し新たなバリエーションを生み出す手法です。AIによるモーションデータのバリエーション生成はゲーム開発の効率化の他にたくさんのキャラクターやアバターが登場するメタバースなどに向けたアニメーション生成にも寄与すると考えます。

AIによるゲーム開発のアセット生成というのは、単純労働を置き換えるタイプのAI開発と違い、出来上がるものの品質が高くないといけない、自社のプロダクションのパイプラインに組み込めるか？など困難が多いタスクです。さらにデータセットの構築についてもどのようにおこなったか紹介していきます。

本セッションではモーションキャプチャデータを活用した機械学習R&Dプロジェクト行う際のプロジェクト立案、開発、ゲームの開発会社が、モーションキャプチャのデータをデータセットとして整備し、機械学習プロジェクトを行う一通りの流れの話をしていきます。ゲーム開発における、AI R&DはエンジニアだけのR&Dプロジェクトではなく、複数の職種にまたがった横断的な技術研究であるということもお話したいと思います。

本セッションで紹介するモーションキャプチャのデータセットに関してはGitHubにて公開を行います。モーションキャプチャの実施には設備や予算がかかり、モーションデータに対する機械学習研究への活用は敷居が高いですが、公開するデータセットは研究用途であれば利用できますのでセッション後のチャレンジができます。