アカデミック・基盤技術
Audio-Visual Synchronizer ~口-音声同期システムの提案と実写映像・アニメ応用の可能性~
日時 : 8月25日(木) 17:00~17:30
会場 : R511+512
形式 : ショートセッション
難易度 :
写真撮影 : 可
SNS公開 : 可
資料公開 : CEDiLにて公開しました
受講スキル
簡単な画像処理の関する知識
受講者が
得られるで
あろう知見
得られるで
あろう知見
画像ベースの処理により,口の動きと吹替え音声が一致した映像を自動で生成する手法
セッションの内容
近年,他言語の映像コンテンツが著しく増加しています.それに伴い,言葉の壁を取り除いて映像を楽しむ手段として「吹替え処理」の需要が高まっています.しかし,吹替え処理が施された映像は「口の動きと音声が一致しない」問題があり,これは視聴者に違和感を与える原因となります.そこで,映像中の口の動きが吹替え者(声優)と同じ口の動きになるよう,映像を直接編集することで口の動きと音声が一致した映像を自動で生成する手法を紹介します.本手法は実写映像やアニメ映像など幅広い映像に適用することが可能であり,新しい映像編集手段として提案いたします.
講演者プロフィール
古川 翔一
早稲田大学
理工学術院
修士1年
早稲田大学 先進理工学研究科 物理学及応用物理学専攻 森島研究室所属
2015年 第161回グラフィックスとCAD研究会 発表 GCAD賞受賞
2016年 第78回情報処理学会全国大会 発表 学生奨励賞受賞
2016年 Visual Computing/グラフィックスとCAD合同シンポジウム 口頭発表
2016年 SIGGRAPH 2016 Poster 発表
2015年 第161回グラフィックスとCAD研究会 発表 GCAD賞受賞
2016年 第78回情報処理学会全国大会 発表 学生奨励賞受賞
2016年 Visual Computing/グラフィックスとCAD合同シンポジウム 口頭発表
2016年 SIGGRAPH 2016 Poster 発表
森島 繁生
早稲田大学
理工学術院 総合研究所
教授
東京大学大学院工学系研究科博士課程修了。工学博士。成蹊大学工学部教授を経て、早稲田大学先進理工学部応用物理学科教授、現在に至る。これまでトロント大学客員教授、ATR客員研究員、NICT客員研究員等を歴任。SIGGRAPH ASIA 2015 Workshop/Partner Event Chair, 画像電子学会2016年次大会長。研究室では、学生約30名がモデリング、レンダリング、シミュレーション、アニメーション、モーション制御、ノンフォトリアリスティックモデリング・レンダリング、画像処理、音楽情報処理、コンテンツ分析・合成等の研究に従事している。CEDECではここ数年連続してショートプレゼンおよびインタラクティブ発表を行っている。画像電子学会副会長、芸術科学会理事、日本顔学会理事。
共同研究・開発者
サフキンパーベル(早稲田大学)