機械学習によるリップシンクアニメーション自動生成技術とFINAL FANTASY VII REMAKEのアセットを訓練データとした実装実例
・音声やアニメーションに関する機械学習に携わる開発者、研究者
（畳み込みネットワークやResNetといったニューラルネットワークの基礎知識があるとより理解が深まります。）
・機械学習技術をMayaなどのDCCツールに組み込むことを考えている開発者
・機械学習技術をプロジェクト内でどう運用・実装するか悩んでいる開発者
・音声のみの入力からリップシンクアニメーションを自動で生成するために必要な機械学習技術についての知見
・機械学習技術とMayaツールとの連携についての知見
・機械学習を含む技術をプロジェクトに導入できるように実装した際の知見
本セッションでは、音声データの入力のみから機械学習を用いて、音声に合わせたキャラクタのリップシンクアニメーションを自動生成する技術Lip-Sync MLについて説明します。本技術では音声学習モデルとリグ学習モデルという2つの学習モデルを組み合わせた機械学習により、リップシンクアニメーションの自動生成を実現しております。
本技術で自動生成されるリップシンクアニメーションや、システムの構成、用いられている機械学習技術を具体的に説明します。また、FINAL FANTASY VII REMAKEのアセットを訓練データに使用し、プロジェクトに導入できる形にするために必要だった準備や実装についても説明します。
中田 聖人
株式会社スクウェア・エニックス
テクノロジー推進部
R&Dエンジニア
<講演者プロフィール>
今回の機械学習によるリップシンクアニメーション自動生成技術では、学習データの抽出やクリーンアップ、アニメーション生成に使用するMaya用ツールとUnreal Engine用プラグインの開発を担当。
<受講者へのメッセージ>
また、自分からはMaya用ツールと機械学習技術を組み合わせるために、どのようなシステム、データの流れを採用したかを中心にお話ししようと思います。Mayaを含めたDCCツールと機械学習技術を連携させる際のヒントになれば幸いです。
グラシア ヒル レアンドロ (Gracia Gil Leandro)
株式会社スクウェア・エニックス
AI部
シニアAIエキスパート
<講演者プロフィール>
並列および分散コンピューティングの修士号と、AI, パターン認識, デジタル画像の修士号を取得しました。
2010年にGoogleに入社して、Chrome, Android, Google Research, Google Xで働きました。
Google Cardboardのテクニカルリード、 Google VRの創設者。
2017年にスクウェア・エニックスに入社して、ゲーム開発向けの機械学習適用を研究しています。
FINAL FANTASY VII REMAKE 自動QAシステムのアーキテクト。
<受講者へのメッセージ>
畳み込みネットワークやResNetといったニューラルネットワークの基礎知識があるとより理解が深まります。
私のパートでは英語で話し、日本語字幕が入ります。ご了承いただけますようお願いいたします。
原 龍
株式会社スクウェア・エニックス
第一開発事業本部 ディビジョン１
リードアニメーションプログラマー
<講演者プロフィール>
【CEDEC2020】『FINAL FANTASY VII REMAKE』におけるキャラクターアニメーション技術
<受講者へのメッセージ>
岩澤 晃
株式会社スクウェア・エニックス
第一開発事業本部 ディビジョン１
フェイシャルディレクター
<講演者プロフィール>
FFXVのキャラクターセットアップに関するセミナーにてフェイシャルパートを担当。
https://spark.adobe.com/page/qT5lDllZ9BwdL/
CEDEC2020の『FINAL FANTASY VII REMAKE』におけるキャラクターアニメーション技術にてフェイシャルパートを担当。
https://cedec.cesa.or.jp/2020/session/detail/s5e58c8811bc98.html
<受講者へのメッセージ>