特集 10：キャプチャ技術の最先端を突き進む！　キヤノン ボリュメトリックビデオスタジオ-川崎にフォーカス！

キャプチャースタジオの魅力を現場から伝える「東京モーションキャプチャスタジオ特集」
今回は、キヤノンさんのボリュメトリックビデオスタジオ-川崎を訪問して、最新の映像技術を体験してきました！
質問にお答えいただいたのは、IMG322事業企画課課長の奥谷様です。

完全オリジナルのボリュメトリックビデオ技術

まずボリュメトリックビデオとは、人や物の動きをもとに3Dデータをつくりだす事ができる技術。

空間内の自由な角度や位置からカメラワークを制作することが可能で、様々なアウトプットを提供できることが特徴です。

この最新技術には映像分野のパイオニアたちが様々なアプローチで挑んでいます。

キヤノンさんはカメラメーカーとして培ってきたノウハウを活かし、ソフト・ハードの両面で自社開発を行なっているという点では、他より抜きんでていると言えますね。

そして今回は、キヤノンさん独自の技術が詰まっているスタジオに案内していただきました！

広大なスタジオを囲む数々の機材と、ボリュメトリックビデオを支える工夫についてご紹介します。

ボリュメトリックのために設計されたカメラ

ボリュメトリックスタジオの四方を囲むグリーンスクリーンのスリットからは、いくつものレンズが顔をのぞかせています。

ボリュメトリックキャプチャのために設計されたカメラの総数は合計100台超

これらのカメラは4K対応・60fpsという性能を備えているため、被写体の動きを精確に捉えることができます。

グリーンスクリーンの上に見える黒い丸がカメラなのですが、その並び方を見て何か気になったことはありませんか？

そう“まばらに配置されている”のです。

スタジオの方に尋ねてみたところ、キャプチャエリアの端まで精確に撮影するために試行錯誤を重ねた結果なのだそうです！

天井にも秘密がいっぱい

そして天井に並ぶ設備についても説明していただきました。

スタジオの天井には、スタジオを隈なく照らす沢山のライトが並んでいます。

これらのライトが被写体にあらゆる角度から光を当てることで、すべてのカメラが綺麗にキャプチャすることが可能。

そして、天井に設置されたマイクによって音声を収録できるので、なんとボリュメトリックビデオで生放送ができるのです！

広大なキャプチャエリア

キヤノンさんのボリュメトリックスタジオは、8m×8mという世界最大級の広さを誇ります。

その広さたるや、10人を同時に収録しても悠々と演技できるほど。

また、キャプチャエリアの外にも余裕があるので、ディレクターは実際に演者さんを見ながらディレクションすることが可能です。

私も実際にキャプチャを体験させていただきましたが、様々な演技を可能にする広大なキャプチャエリア、リアルタイムで3Dデータが完成する処理速度、そしてキャプチャの精度に、ただただ圧倒されました！

様々な分野で活用されるボリュメトリックビデオ

スタジオでは、様々な分野・表現でボリュメトリックビデオを活用されている例を実際に見せていただきました！

まずは、ミュージシャン Vaundyさんの『ZERO』のMV。

ミニチュアの劇場から巨大なアリーナまで様々なステージが現れ、アーティストの姿そのものがエフェクトで変化していく。

映画のようなダイナミックなカメラワークで世界観を表現されているので、一度観たら忘れられない作品です。

このMVが、キヤノンさんのスタジオで歌うVaundyさんの姿を撮影したシンプルなデータから作られているということが、キヤノンさんのボリュメトリックビデオのポテンシャルの大きさを表していますね。

そして、ウクライナ国立バレエによる「雪の女王」の実演を記録したボリュメトリックビデオも見逃せません。

ボリュメトリックビデオならではの自由な編集を活かしたPVでは、これまでにない視点からバレエを表現したユニークな映像を見せていただきました。

さらに、驚いたのは手鏡サイズの3Dホログラムディスプレイ『ルッキンググラス』

こちらを用いて実写のバレエをまるでオルゴール人形のように見せるという、これまではSFの中でしか見たことがなかったような作品まで体験させていただきました！

最後に、忘れてはいけないのが能とボリュメトリックビデオのコラボレーションです。

ボリュメトリック × 能楽「葵上」 (Canon Official)

この作品では、実在の能楽堂を3Dスキャンしたデータと、ボリュメトリックビデオで収録した能の3Dデータを組み合わせ、演目の展開に合わせて舞台が変化するという表現に挑戦しています。

珍しさの中にこそ花があるという能の理念を考えれば、ボリュメトリックビデオは日本の古典芸能を置き去りにするものではなく、むしろ古来から積み重ねられてきたブレイクスルーの一手なのかもしれませんね。

他にも、キヤノンさんのボリュメトリックビデオを活用したコンテンツがどんどん生まれているので、ぜひ体験してみてください！

・【バズリズム LIVE V 2023】
・chelmicoのごちゃmazeハイパーバーチャルライブ

奥谷さんに一問一答！

『ボリュメトリックビデオ技術』のプロジェクトをスタートした経緯を教えてください

まずはカメラメーカーとして、スポーツの撮影において今までと違う見せ方ができないかというところからスタートしました。

この目標を達成するために社内のカメラ、画像処理、伝送技術のノウハウを統合していった結果として、ボリュメトリックビデオにたどり着いたのです。

なるほど！では、ボリュメトリックビデオの設備を備える川崎スタジオを設立したあらましを教えてもらえますか？

最新の映像技術をスポーツとエンタメの両輪で運営していこうという方針から、ボリュメトリックスタジオを設立することになりました。

最初に、2019年に国内で開催されたラグビーの世界大会の撮影でボリュメトリックビデオを導入したのですが、その際の技術と経験が2020年に設立したボリュメトリックスタジオに活かされているんです。

特に、撮影から3秒の遅延という、ほぼリアルタイムで3Dデータを出力できるようになったことと、ラグビーコートのように広大なエリアをキャプチャできるようになったことが、スタジオにも活かされています。

このスタジオの特徴と、キヤノンさんの技術が活用されている部分を詳しく伺いたいです

まずスタジオですが、おそらくこの世界最大級になるエリアの広さです。

この広さを活かして、10人前後の同時撮影が可能になっています。

次に技術の点では、3秒という短時間の遅延でボリュメトリック映像を出力できることも特徴ですね。

実は、これらの特徴を支えている設備はすべて内製の技術によって作られています。

撮影、伝送、3次元化処理、レンダリングというすべての工程が、キヤノン独自の技術と研究の成果なんですよ。

キヤノンさんのボリュメトリックビデオは独自の技術の結晶なんですね！
他のスタジオと比べて、特に際立っているのはどういう所ですか？

これまでに培ってきた技術を転用するとともに、必要に応じてカメラやソフトウェアを開発しているところです。

たとえば、ボリュメトリックキャプチャに用いるカメラのベースはキヤノンが映画撮影用に開発したものになっていまして、それに改良を加えることでボリュメトリックキャプチャに対応できるようにしているのです。

技術の開発といえば、撮影からボリュメトリック映像出力までをたった3秒でこなせるとのことですが、どのようにしてこの処理時間を実現したのですか？

伝送の遅延を短縮するとともに、3次元化処理とレンダリングを高速化することで実現しています。

特に工夫を重ねたのが、大容量データの伝送と3次元化処理の高速化の部分ですね。

最初はリアルタイムで3Dデータを出力することはできず、まずはデータのみを撮影してから一晩かけて処理していたんです。

この工程を3秒にまで短縮できたことが、まさに研究の積み重ねの成果です。

スタジオ以外ではどのような場所でボリュメトリックビデオを活用されているのですか？

現在は、東京ドームとアメリカのNBAアリーナで稼働しています。

なるほど！ボリュメトリックビデオシステムを設置する場合、どのくらいの期間が必要になるのですか？

全く新しい場所に設置する場合は、まず現地調査を行い、それに基づいてカメラを設置する場所に専用の固定具を準備することになります。

この場合は、すべての工程を合わせて半年ほど必要になりますね。

しかし、東京ドームのように既にボリュメトリックビデオシステムを設置している場所で設備の更新を行う場合は、3日ほどで完了します。

では、特に印象深かったお仕事のエピソードを教えてもらえますか？

あるドラマの収録です。

従来のドラマの撮影と違って、カメラワークを収録後に決めることができるのでカットごとにカメラや照明などを移動させる必要がなく、非常に速く収録が進みました。

そのおかげで、なんと1テイク目でOKが出て、そのまま収録が終わったのです。

演者さんに「もう帰っていいの？」と驚かれ、「これなら毎回このスタジオで撮ろうよ」と言ってくださったことが印象に残っています。

ボリュメトリックビデオではカメラワークに関するリテイクが発生しないので、演者さんにかかる負担が少ない優しい収録になっているのではないでしょうか。

これまでの収録を通じて、スタジオの設備やワークフローに変化はありましたか？

設備はクライアントの要望を受けて更新を重ねています。

最近も、カメラを5台ほど追加しましたよ。

また、ワークフローに関しては、以前はカメラワークもキヤノンがつけていたのですが、クライアントがカメラワークにこだわってみたいという要望を受けて変化してきました。

現在は、キヤノンからクライアントにラフモデルを使ったデータを納品して、それをもとにカメラワークを作成していただくことが可能です。

そのカメラデータをもとにして、キヤノン独自の設備とソフトウェアによってレンダリングを行っています。

進化を重ねているキヤノンさんですが、今後どのような方々とボリュメトリックビデオ技術を用いたコンテンツを制作していきたいですか？

映像業界に限らず、様々な分野から集まった人たちと一緒にコンテンツを制作していきたいですね。

特に、私たちが想像もしていなかった発想でボリュメトリックビデオを活用してくれる人が現れることを期待しています。

ボリュメトリックデータは今後、どのように利用されていくと考えていらっしゃいますか？

様々な角度から見られることを活かしたコンテンツに利用されることを期待しています。

特に、エンタメ以外の業界でも活用の道があるのではないでしょうか。

最後に、ボリュメトリックビデオのここが好き！というポイントを教えてください！

なによりも、伸びしろがあることですね。

ボリュメトリックビデオには、まだ誰も思いついていないものを生み出すポテンシャルが秘められていると感じています。

最後に

今回はキヤノンさんにボリュメトリックビデオをご紹介いただき、リアルの動きをバーチャルに取り込むための全く新しいアプローチに触れるという刺激的な体験ができました！

スポーツ中継をもっと面白く見せたい！というアイデアから始まったボリュメトリックビデオで、古典芸能からＶＲコンテンツまで古今東西の視覚表現に挑戦されています。

さらに今エンタメの領域を飛び出して誰も見たことがないものを創りだそうとしていることに、ワクワクが止まりません。

少し前まで物語の中にしかなかったものを現実にしていくキヤノンさんのボリュメトリックビデオに、これからも目が離せませんね！