インタラクティブセッション

VibeShare: コロナ禍の音楽ライブを「触覚」で双方向化する

対象プラットフォーム:アーケード/PC/モバイル
講演形式
インタラクティブセッション
講演時間
08月25日(水) 11:20 〜 11:45
講演ルーム
第10会場
資料公開
予定あり
受講スキル

すべての人に向けて、必要なスキルは最小限にしたお話と体験を工夫します。特に興味を持っていただきたい方は以下の分野です。

・音楽業界、音楽配信ビジネスに関わる方々

・研究開発からサービス開発に持っていきたいR&Dの方々

・触覚をライブエンタメの世界に使いたい方々

・学生、研究者など、生の音楽ライブを使ったデータから知見を得たい方

・コロナ禍におけるパブリックテスト手法を学びたい方々

・似たような取り組みをされている方々

得られる知見

・音楽ライブイベントのDXとそのサービス開発の課題

・リモートライブにおける課題と可能性

・触覚双方向ライブエンタテインメント基盤技術

・各種配信プラットフォームにおけるディレイを考慮した新技術

・ライブエンタメのユーザ体験評価手法

・ライブエンタメ向け触覚ディスプレイハードウェア:その要件と課題

・基盤技術、PoCから事業開発までの垂直展開事例

・小規模なWebサービス開発手法と課題

・コロナ禍におけるユーザ体験の評価手法

・触覚+音楽ライブは「楽しい」、ビジネスや新たなサービス開発の可能性の体感。

※デモはお手持ちのPCやスマートフォンを通して体験できます

セッションの内容

 VibeShareは、バーチャルライブでの非言語的フィードバックを共有するテクノロジーです。出演者/プレイヤーは、スマートフォンによる観客の反応から、ネックレス型触覚デバイスHapbeatやその他の従来のメディア(音、バーグラフなどの可視化)による様々な振動を感じることができます。バーチャルライブの視聴者はスマートフォンで「バーチャル拍手」を送信することができ、この信号は1秒未満で出演者/プレイヤーに到達します。非言語的なフィードバックは、YouTubeライブにコメントするよりも高速にライブイベントの良いムードを刺激することができます。このマルチユーザー遠隔触覚技術は異文化間コミュニケーションの「新しい絵文字」の開発に役立ち、ゲームシーンにおいては新しいスタイルの「大規模eスポーツ」の開発に利用できます。

VibeShareのライブ投票機能「VibeShare: Vote」は東京都にむけて、双方向触覚での文化施設のインクルージョン(社会包摂)とバーチャルおひねりでの文化支援と税控除を提案していますが (UPGRADE with TOKYO 第11回にて発表 : https://www.youtube.com/watch?v=za7RUfakpUw&t=2907s)、より具体的な取り組みとして2021年3月に、ライブエンタメ向け業務用音響エンジニアリングのプロフェッショナルであるヒビノ株式会社と共同で、同社が運営する六本木のミュージックバー「Real Diva’s」を舞台に無観客ライブの視聴者の想い・拍⼿・エールをアーティストや店舗に直接届けることのできる実験的な音楽ライブの実証実験を3日間にわたり行いました。 https://www.realdivas.net/spring-fes

要点は次の通りとなります。

・YouTubeライブを超える形で拍手や応援ギフトを送信

・A-Frameを用いた編集・拡張が容易なエモートアニメーションの描画の紹介

・(配信上のディレイを超えて)「未来からのメッセージ」で拍手や応援を視聴者とシンクロ

⇒演奏終了時に遅延なく視聴者から送られた拍手が会場に鳴り響く様子をご覧ください。

・バーチャルギフトティング(🍹・🌸)によってリアル店舗でリアルギフト(お酒・花束)をアーティストに贈呈

⇒その様子を配信に映すことで、視聴者のギフティング意欲の向上を確認。

・演奏中のアーティストへのバーチャルおひねりに応じて触覚フィードバックをお届け

⇒視聴者の存在感を演奏中でもアーティストに表現

・番組中のイベントとギフティング履歴を1分毎に集計、データ化。

⇒アーティストのトークや曲調によってギフティングに影響があることが判明。

などなど…技術的にも演出的にも盛りだくさんの実験の様子は以下のYoutube Liveからご覧ください

Day1 https://www.youtube.com/watch?v=ZdNI9H5Kl8s

Day2 https://www.youtube.com/watch?v=pDlsjGKPLQM

Day3 https://www.youtube.com/watch?v=RFvXFXpcypw

小規模なミュージックバーを舞台に、コロナ禍で無観客ライブを行わなければならないリアルアーティストと、そのお客さんに向けてバーチャルギフトを使った一体感のある双方向の交流と、リアルタイム触覚を音楽ライブに適用した場合の生データを緻密に分析し、出演者のパフォーマンス分析とともに共有されるケースは稀であると考えます。

デモおよび講演ではCEDEC2021のテーマである「SHIFT YOUR PARADIGM」にあわせ、既存のVTuber技術を音楽ライブや教育分野に活かすための実装方法や展開方法、実際のエンドユーザの反応やデータ、知見などを実際にVibeShareを使い、お手持ちのPCやスマートフォンを使って、体感を通してゲーム開発者・学生・研究者など関連業界の開発者と共有したいと考えております。

白井 暁彦

REALITY株式会社

GREE VR Studio Laboratory

Director

講演者詳細を開く >

<講演者プロフィール>

東京工業大学知能システム科学博士(工学) 。専門はVRエンターテインメントシステム、触覚技術、GPU応用、多重化ディスプレイ、体験の物理評価、国際連携。日本バーチャルリアリティ学会 IVRC実行委員,フランスLaval Virtual評議員,芸術科学会副会長。デジタルハリウッド大学大学院客員教授。2018年より現職、「GREE VR Studio Laboratory」 Director。VTuber/XRライブエンタメ関連技術をはじめとする未来開発をイノベーション型人材の育成を通して、自らエンタメプレイヤーとして世界に向けた発信活動を行っている。著書「白井博士の未来のゲームデザイン」他。

<受講者へのメッセージ>

「VibeShare」はライブエンタメのエモーショナルな体験"Vibes"をシェアすることをコンセプトに活動している先端インタラクティブ技術です。実はCEDEC2020インタラクティブセッションにて採択されておりましたが、コロナ禍においてデモ発表がお流れになってしまいました。
この1年、ただ指をくわえて寝かせるのではなく、音楽やライブデモにこだわるすべてのエンタメを革新すべく、今回のCEDEC2021では「VibeShare」をゲームやVTuberライブ配信のために使う技術から、小規模な音楽ライブで活躍するリアルアーティストでの利用を想定したPoC実験を行いました。このデモでは音楽ライブにおけるバーチャルギフティング、番組分析といった使い方だけでなく、教育や文化施設における社会包摂など幅広く事例を紹介していきたいと思います。みなさんのフィードバックやコラボレーション提案をお待ちしております。
閉じる

山崎 勇祐

REALITY株式会社 / Hapbeat合同会社

GREE VR Studio Laboratory

講演者詳細を開く >

<講演者プロフィール>

体感音響デバイス「Hapbeat」の開発製造を行いながら東京工業大学大学院 博士課程在席中。2019年4月よりGREE VR Studio Laboratory 研究インターンとして、XRライブエンタメのための基盤技術の研究開発活動に参加。触覚技術をライブエンタメに活用すべく、視覚以外に距離や方向、観客の声援やエモートを出演者に触覚として届ける熱狂共有技術「VibeShare」の開発を担当。

<受講者へのメッセージ>

ミュージックバー「Real Diva's」で開催された無観客ライブでVibeShare を利用することで、観客の存在感をエモート、拍手音、プロジェクション、触覚デバイス Hapbeat などを駆使することでこれまでにないレベルで表現することができました!
その仕組みをぜひ皆さんに知っていただき、VibeShareを活用していただきたく思っております。
閉じる

共同研究・開発者

 大高 正巳 (Masami Otaka) ヒビノ株式会社
末木 真人 (Sueki Masato) ヒビノ株式会社