情感まで写し取る楽譜転写エンジンの開発とゲームへの応用法
公募
SND
ENG
辛口


講演形式
レギュラーセッション
講演時間
09月04日(水) 11:20 〜 12:20
資料公開
予定あり
受講スキル

・デジタル信号処理に興味のあるプログラマー

・既存の音楽ゲームに、「何か魅力的な一手」を加えたいと思っているプランナー

・「楽曲解析」や「自動楽譜生成」などの興味のある、すべての方々

得られる知見

・音程認識を歌声に適用したときの注意点や、音声抽出のやり方。

・単純な楽譜生成だけではなく、強弱記号・装飾記号・発想記号などを、いかにして生成するのかという、実践的な実装方法。

・生成された楽譜および付帯の情感情報を、ゲームに適用するための実装方法。

セッションの内容

・CEDEC2018で提案した「音程認識」を歌声に適用し、既存の歌声分離機能と結びつけ、「歌唱楽譜のリアルタイムに出力」を目指したが、結果は、無秩序な信号の並びだった。

・この信号に、人間の歌声の特性を利用した、強力な補正を行うことにより、秩序ある歌唱楽譜が出力されるようになった。

・これを情感楽譜転写エンジン(eMUTE)(Emotional MUsic Transcription Engine)と呼ぶ。

・このエンジンに搭載された数々の波形解析プロセッサーを利用すれば、単なる音符情報に加え、強弱・装飾・表現記号も生成することが可能である。

・またファイル単位に加え、ストリーム音楽の解析も可能である。

・今回は歌声に特化した歌唱音程抽出の技法の詳細と、情感転写に関する理論的な説明を行う。

・さらに出力された譜面と情感情報を、ゲームへ適用する方法に関し、ソースコードとデモを交えて解説する。

増野 宏之

株式会社 CRI・ミドルウェア

事業開発室

室長

もっと見る

<講演者プロフィール>

・大学在学中の1986年から複数のゲーム制作会社を経て、2013年4月よりCRI・ミドルウェアに勤務。
・過去の会社を含め、作曲、プログラム、マネージャー、ディレクター、技術営業、海外渉外、契約実務、販社業務など、あらゆる業務を経験。
・CEDEC AWARDS 2012で、自身のリアルタイムBPM解析手法が優秀賞を受賞。
・過去のBPM解析研究の集大成である超高速・高精度・楽曲解析ミドルウェア「BEATWIZ」を2015年9月に発表。
・現在も、毎月新しい機能を実装し、アプリを更新中。

FORTRAN77とグローバル変数と、なにより楽曲解析とお酒をこよなく愛する、54歳のオヤジ開発者。

<受講者へのメッセージ>

今年は、CEDEC 2018で講演した高速な「音程認識技術」を歌入りの楽曲に応用し、「歌入りの曲からメロディ部分の譜面が出力される」という技術に関して解説します。人の歌声に特化したフィルタリング手法や、強弱,装飾,表現記号を生成するための各種プロセッサーの理論説明のほか、出力された譜面と情感情報を、ゲームへどう適用するのか、ということに関して、ソースとデモを交えて解説します。ぜひご期待ください。
閉じる

CEDILセッション関連

情感まで写し取る楽譜転写エンジンの開発とゲームへの応用法