音程だよ、音声じゃないんだよ。 -応答性の高い音程認識技術とゲームへの活用法-
講演形式
レギュラーセッション
講演時間
08月22日(水) 11:20 〜 12:20
資料公開
予定あり
受講スキル
・DSPやオーディオパイプラインの設計、さらに音楽解析に興味のあるサウンドプログラマー。
・ゲームに何か「新しい要素」を盛り込もうと考えているプランナー。
・音声入力やハンズフリー入力に興味のあるプログラマー。
得られる知見
・応答性の高い、音程認識技術の具体的な実装方法。
・音声入力を採用しながらも、反応速度の早いゲームの実現方法。
・「声の高さ」および「声の張り」の定量化の方法。
セッションの内容
・近年のスマホやVRなどの普及により、手元の視界がさえぎられたり・コントローラー操作が困難なプレイ環境が増え、ハンズフリー入力に対する要求が高まってきている。
・ハンズフリー入力の代表格は、「音声認識」であるが、誤認識と入力遅延の問題が付きまとい、応答性の高い入力方法とは言い難い。
・そこで音声を入力としながらも、応答性の高い効果的な入力方法として、音程を認識させる技術を開発した。
・音程認識技術には、ゲーム用途ならではの工夫を加えたAMDF法を採用した。この方法を使うと、マイクから入力された声の音程をほぼ5～40ミリ秒程度のレイテンシーで取得できる。
・さらに音程認識技術に加え、「声の張り上げ度」を測定する簡便な方法も考案し、2軸でのキャラクターの動作も可能となった。
・講演向けの単純な例だが、「音程操作ブロック崩し」などのゲームを例に、ゲームへの応用方法と実装方法を具体的に説明する。