読み込み中...
投稿日
360度カメラとUnityで作ったバーチャル空間の舞台裏
インキュベーションセンターの伊藤です。XRチームで開発リーダーをしています。
会津若松市に家族で引っ越して3年半が過ぎました。 右肩上がりで体重が増えているので、毎朝グッド！モーニングを見ながらトランポリンで30分ジャンプを始めました。 2週間ほど経過しダイエット効果は見られませんが、じんわり汗をかいて毎朝スッキリ爽快な気分になれます。朝が苦手な人、ぜひトランポリンやってみてください。 下記の写真は盛ってます。いつもはヤクルトぐらいしか飛んでません。
さて、本題に入ります。 「360度カメラとUnityで作ったバーチャル空間の舞台裏」というTISではあまり馴染みのないタイトルなんですが、実はインキュベーションセンターでは2021年4月よりXRを活用した新規事業開発に取り組んでいます。 その成果として21年度は出展やPoC（実証実験）をしてきました。
今回はリストの一番最後にあるお台場ヴィーナスフォートのPoCを題材に、360度カメラとUnityでバーチャル空間をどうやって実現しているのか、バーチャル空間を運用するためにやっていたことは、といった舞台裏を紹介したいと思います。
360度カメラとUnityでバーチャル空間をどうやって実現しているのか？
まずはどんなバーチャル空間なのかをご覧ください。
スマホアプリで提供しています。イベントに入るとマップが表示され、マップ上のブース（球体）を選ぶと中に入れます。 ブースの中ではキョロキョロ周りを見渡す、移動する、リアクションする、他のアバターと話すといった操作ができます。 1つのブースには最大100人まで入れます。
負荷テストで自動で動くアバターをブース内に大量に発生させてテストするのですが、1つのブースに100人入るとハチャメチャな感じで賑わってて楽しいのですが、他のアバターが邪魔になって周りがよく見えない状態になります。 ブースに入った人数に応じてブースの大きさを変えるのを試してみたいのですがまだ試せていません。試せたら次回報告しますね。
今回のバーチャル空間では全体で8つのブースを配置しました。 マップの左側に公園ブースという矢印があり、上記の画面では見えてませんがお花畑を事前撮影したブースが1つあります。 赤枠が付いている3つのブースはリアルタイム配信をしていて、そのうち1つはお店に設置しました。 お店のブースではアプリ内で商品を選んで購入（＝決済）できます。 この商品購入は弊社のXR Payというサービスを使って実現しています。 XR PayはXR空間上に仮想店舗を構築し、商品売買の決済までをXR空間で行うサービスです。
バーチャル空間の実現イメージは下記になります。
360度カメラにはTHETA Z1を使っています。 カメラで撮影した動画はPC経由でリアルタイム動画配信サービスへ転送し、そのサービスから各ユーザーに配信します。 スマホアプリとマルチプレイのサーバープログラム、カメラからリアルタイム動画配信サービスに送信するプログラムは全てUnityで作成しています。 スマホアプリでは球体に360度動画を貼り付けて空間を実現しています。
動画配信の解像度はなんと4K(3840×2160)です！ アプリ利用者のネットワーク環境にもよりますが、一般的な家庭のネットワークであれば問題なく綺麗な画質を楽しめます。 実証実験当日、どんな遠隔地からでも楽しめるのか確認したかったので、会津高原だいくらスキー場からキャリア回線で繋いでみましたがとても綺麗な画質で見れてました。 今回のバーチャル空間は2日間朝11時～夜20時までと9時間連続稼働を2回やりましたが、画質劣化することなく安定して配信できました。
4Kでの配信にあたり、当日配信してみて問題が発生した場合は、WQHD(2560×1440)に解像度を落とす、または弊社で開発した別の動画配信に切り替える等、プランBをいくつか用意していました。 リアルタイム配信はその瞬間が大切でやり直しができないものなのでプランBの備えは必須です。
話しは変わりますが、THETA Z1にはプログラムを作成して機能追加できるプラグイン機能があり、当初はプラグイン機能を活用してTHETA単体で動画転送をやろうとしていました。 しかし、プラグイン機能で転送を実現すると、THETA Z1のマシン性能による画質劣化や電池消耗が激しく1～2時間しか持たず長時間イベントで使用できないため、THETA単体での動画転送を断念しています。
なんで360度カメラ？
ところで、バーチャル空間であればClusterやVRChatのように3Dモデルを作成して実現するのが一般的かと思います。 リアルな空間に合わせて3Dモデルを作成するとなると費用と時間がそれなりにかかるので、私たちのチームではもっと手軽にバーチャル空間を作れないかと考え、360度カメラを活用したバーチャル空間に取り組んでいます。
また、お店ブースのように現地の店員さんとバーチャル空間に入ったアバターの人が会話しながら買い物できる、そんな現地を活かした新しい体験を模索したいというのも理由の一つです。
事前調査とリハーサル
今回のようなリアルタイム配信を含むバーチャル空間を開催するには、現地からカメラ画像を配信するため、事前調査とリハーサルが当日の安定運用に向けてとても重要です。 事前調査は問題があれば機器の調達などが必要となるため遅くても2週間前、リハーサルは会場に余裕があれば1週間前、難しい場合は前日に行います。
事前調査では次の点を確認します。
- カメラ設置場所
- 実際にカメラを持参していくつかの場所で撮影し、持ち帰って設置場所を決定します。
- カメラ設置場所のネットワーク速度
- カメラとリアルタイム動画配信サービスの間は安定したネットワークがないと、参加者全員がガビガビした動画を見るという一番残念なユーザー体験に繋がります。
- 4Kで配信する場合は最低上り10Mbpsを目安に、現地のWiFiまたはレンタルしたWiFi（キャリア比較も含む）を持参し、現地で計測して決定します。
- カメラ設置場所の電源確保
- カメラとPCともに電源がないと長時間稼働できないため電源を確保します。
- 電源コードやカメラ、PCが現地の演出の邪魔にならないように目隠しなども合わせて検討します。
- カメラ設置場所の気温や雨避けなど
- 普段エアコンが効いた室内で作業しているとあまり気づかないのですが、カメラとPCは暑さにとっても弱いです。
- 暑すぎるとカメラやPCが止まるので、直射日光にならないか、雨に濡れないか、といった現場環境にも注意します。
事前調査で上記対策を検討しておき、リハーサルでは本番同様に実際に全てのカメラを設置してみて次の点を確認します。
- リアルタイム配信のユーザー体験
- 安定した画質で配信できているか確認します。
- カメラを明るい屋外または暗い室内に配置した場合で見え方が変わってくるので見やすくなるように調整します。
- 機材の設置時間、撤収時間
- 本番同様に機材を設置、撤収してみてどれくらい時間がかかるのを把握しておきます。
- 当日の集合時間や撤収作業の完了時間の目安になり、スケジュールが立てやすくなります。
事前調査やリハーサルはチャットでメッセージが飛び交います。リハーサルの様子を一部お見せします。 最初は上手くいかないのでチャットで状況共有しながら現地組とリモート組が協力してリハーサルを進めます。 緊迫感が伝わってきませんか？
こうして事前調査とリハーサルが終わるとようやく本番を迎えられます。
バーチャル空間を運用するために現場でやっていたことは？
開始前に現地に集合し設置作業から始まります。
朝早い教会広場で薄暗い中PCの設定をやってる様はシュールですね。
イルミネーションブースでの設置作業です。 イルミネーションは写真を撮られる方が多いので、どうやったらカメラが撮影の邪魔になりにくいか、設置位置を考えたり、ケーブル類を隠すために工作や裁縫を頑張ってます。 事前にユザワヤやニトリに布やリメイクシートやすのこを買い出しに行き、ホームセンターでコンセントカバーを買ったり、普段の業務でやらない作業でしたが学生時代の文化祭準備のようで少し楽しかったです。 弊社のXRチームのメンバには工作力が求められます。メンバが工作した目隠しにより、カメラの重石やPC、ケーブルが見事に目立たなくなってます。
実はイルミネーションブースは当日朝になって電源来てなくて焦ってました。 イルミネーションのための電源コンセントから電源供給する予定でしたが、タイマー設定で日中は電源が来ない設定になっていました。 リハーサルの時は夕方から夜に実施したので気が付けなかったのですが、当日朝になって発覚して一時パニックになってました。 タイマー設定を変更していただき事なきを得ましたが、電源確保は奥が深いですね。 電源が来たおかげでこんなステキなイルミネーションブースを実現できました。
他にも現場では色々起きてました。
- 屋外ブースは午前中は日当たりがよく暑かったのでPCが熱で止まらないか冷や冷やした。午後から日当たりが悪くなって問題なかった。
- ブース近くでワンコがとっても元気に吠えていてリアルタイム配信の音量調整が難しそうだった。
- お店ブースではリモートで来店したお客様対応用にiPadからバーチャル空間に入って対応していたが、ネットワークトラブルが多くサポートするため何度も控室と店舗をリアルに行ったり来たりしていた。
- 5GのモバイルWiFiをレンタルしたが5Gは「つながったり、つながらなかったり・・」という感じでした。もう少し普及するまで我慢です。
今回のPoCもXRチーム総出で、大阪から遠隔で監視で入り、豊洲（弊社ビル）とお台場（現地）を行ったり来たりした人がいたり、 会津から応援にかけつけたり、みんなで適材適所分担して無事にイベント開催を乗り切りました。
お店ブースで接客サポートしていた同僚の感想です。
「大阪や福岡、福島など、全国各地から遊びに来てくれたのはとても嬉しかったし、バーチャルのヴィーナスフォートでいろんな場所にいる人と話せる体験はとても楽しかったです。話しかけてくださった皆さんも、楽しんでくださってる様子でした。」
これまでのPoCではバーチャル空間だと知らない人との会話はほとんど無かったのですが、今回のPoCでは話しかけられることが多かったそうです。 今回のPoCではこれまでより画質を大きく向上させたので、テンションが上がって話しかけやすい雰囲気に繋がったのでしょうか。 左が前回、右が今回のアプリ画面です。写真だと分かりにくいんですが、アプリで見ると今回は物体やイルミネーションがくっきりと見えるようになったんですが伝わりますかね。
今回のような現地を活かしたバーチャル空間をたくさん作って、一人でも多くの人に楽しんでいただけるようにこれからも頑張ります！ 今回紹介したサービスをぜひ活用してみたい、お話しを聞いてみたいという事業者の方がいらっしゃいましたらぜひ下記からご連絡ください。
