VibeShare: コロナ禍の音楽ライブを「触覚」で双方向化する
すべての人に向けて、必要なスキルは最小限にしたお話と体験を工夫します。特に興味を持っていただきたい方は以下の分野です。
・音楽業界、音楽配信ビジネスに関わる方々
・研究開発からサービス開発に持っていきたいR&Dの方々
・触覚をライブエンタメの世界に使いたい方々
・学生、研究者など、生の音楽ライブを使ったデータから知見を得たい方
・コロナ禍におけるパブリックテスト手法を学びたい方々
・似たような取り組みをされている方々
・音楽ライブイベントのDXとそのサービス開発の課題
・リモートライブにおける課題と可能性
・触覚双方向ライブエンタテインメント基盤技術
・各種配信プラットフォームにおけるディレイを考慮した新技術
・ライブエンタメのユーザ体験評価手法
・ライブエンタメ向け触覚ディスプレイハードウェア:その要件と課題
・基盤技術、PoCから事業開発までの垂直展開事例
・小規模なWebサービス開発手法と課題
・コロナ禍におけるユーザ体験の評価手法
・触覚+音楽ライブは「楽しい」、ビジネスや新たなサービス開発の可能性の体感。
※デモはお手持ちのPCやスマートフォンを通して体験できます
VibeShareは、バーチャルライブでの非言語的フィードバックを共有するテクノロジーです。出演者/プレイヤーは、スマートフォンによる観客の反応から、ネックレス型触覚デバイスHapbeatやその他の従来のメディア(音、バーグラフなどの可視化)による様々な振動を感じることができます。バーチャルライブの視聴者はスマートフォンで「バーチャル拍手」を送信することができ、この信号は1秒未満で出演者/プレイヤーに到達します。非言語的なフィードバックは、YouTubeライブにコメントするよりも高速にライブイベントの良いムードを刺激することができます。このマルチユーザー遠隔触覚技術は異文化間コミュニケーションの「新しい絵文字」の開発に役立ち、ゲームシーンにおいては新しいスタイルの「大規模eスポーツ」の開発に利用できます。
VibeShareのライブ投票機能「VibeShare: Vote」は東京都にむけて、双方向触覚での文化施設のインクルージョン(社会包摂)とバーチャルおひねりでの文化支援と税控除を提案していますが (UPGRADE with TOKYO 第11回にて発表 : https://www.youtube.com/watch?v=za7RUfakpUw&t=2907s)、より具体的な取り組みとして2021年3月に、ライブエンタメ向け業務用音響エンジニアリングのプロフェッショナルであるヒビノ株式会社と共同で、同社が運営する六本木のミュージックバー「Real Diva’s」を舞台に無観客ライブの視聴者の想い・拍⼿・エールをアーティストや店舗に直接届けることのできる実験的な音楽ライブの実証実験を3日間にわたり行いました。 https://www.realdivas.net/spring-fes
要点は次の通りとなります。
・YouTubeライブを超える形で拍手や応援ギフトを送信
・A-Frameを用いた編集・拡張が容易なエモートアニメーションの描画の紹介
・(配信上のディレイを超えて)「未来からのメッセージ」で拍手や応援を視聴者とシンクロ
⇒演奏終了時に遅延なく視聴者から送られた拍手が会場に鳴り響く様子をご覧ください。
・バーチャルギフトティング(🍹・🌸)によってリアル店舗でリアルギフト(お酒・花束)をアーティストに贈呈
⇒その様子を配信に映すことで、視聴者のギフティング意欲の向上を確認。
・演奏中のアーティストへのバーチャルおひねりに応じて触覚フィードバックをお届け
⇒視聴者の存在感を演奏中でもアーティストに表現
・番組中のイベントとギフティング履歴を1分毎に集計、データ化。
⇒アーティストのトークや曲調によってギフティングに影響があることが判明。
などなど…技術的にも演出的にも盛りだくさんの実験の様子は以下のYoutube Liveからご覧ください
Day1 https://www.youtube.com/watch?v=ZdNI9H5Kl8s
Day2 https://www.youtube.com/watch?v=pDlsjGKPLQM
Day3 https://www.youtube.com/watch?v=RFvXFXpcypw
小規模なミュージックバーを舞台に、コロナ禍で無観客ライブを行わなければならないリアルアーティストと、そのお客さんに向けてバーチャルギフトを使った一体感のある双方向の交流と、リアルタイム触覚を音楽ライブに適用した場合の生データを緻密に分析し、出演者のパフォーマンス分析とともに共有されるケースは稀であると考えます。
デモおよび講演ではCEDEC2021のテーマである「SHIFT YOUR PARADIGM」にあわせ、既存のVTuber技術を音楽ライブや教育分野に活かすための実装方法や展開方法、実際のエンドユーザの反応やデータ、知見などを実際にVibeShareを使い、お手持ちのPCやスマートフォンを使って、体感を通してゲーム開発者・学生・研究者など関連業界の開発者と共有したいと考えております。