新たな映像技術を駆使して実現する未来のエンターテインメント。大きな流れの一つは、「超高精細」を超える「臨場感」だ。そのための映像表現の手法、リアルの世界とデジタル空間の橋渡しをする仕掛けといった面での新しいアプローチが次々に生まれようとしている。未来のスタンダードは、スクリーンの向こう側から視聴者側へと飛び出してくるエンタメ体験だ。

<<前編はこちら

2016年8月、ある印象的なCMが放映された(リンクはこちら)。美しい芝生が敷き詰められたサッカースタジアムに集った大観衆。場内が暗転し、いよいよ選手入場かと思ったところへ登場したのは巨大な柔道選手の映像で、まさに目の前で試合をしようとしている瞬間だった――実はこれ、NTTドコモが公開した、2020年に向けた取り組みをアピールするもの。そこで用いられている最先端の映像技術は、NTTが研究を進めている「Kirari!」と呼ばれるプロジェクトである。

離れた場所で行われているイベントの空間を切り出し、リアルタイムで伝送・再構築して表示する(写真1)。まさに次世代型のパブリックビューイングを可能にする技術だ。NTTはイマーシブテレプレゼンス技術Kirari!と呼ぶ。

(写真1)Kirari!のイメージ(提供:NTTサービスイノベーション総合研究所)

スクリーンを飛び出した映像で新たな体験を提供

2014年から開発にあたっているNTTサービスエボリューション研究所の外村喜秀氏は「4Kや8Kなど、超高精細な映像を使っても、臨場感を伝えるのには限界があった。もしも“実際にそこに人がいるかのような映像表現”ができたら、解像度とは異なるアプローチで臨場感を強められるのではないか。その仮説のもとにKirari!の検証を始めた」と話す。

Kirari! は「ペッパーズゴースト」という古くからある視覚トリックにヒントを得たものだ。もちろん、精細な臨場感を実現するためにメディア同期技術の「Advanced MMT」、次世代映像圧縮技術の「H.265/HEVC」、可逆符号化技術の「MPEG4-ALS」を組み合わせている。これによって、空間を超えた映像コンテンツの伝送を可能とした。「人があたかもそこにいる感じ。テレビではできない臨場感を伝えられることがKirari!の本質的な部分だ」(外村氏)。

臨場感を際立たせているのは、その人だけを背景から切り抜いて立体的に見せる演出だ。グリーンバックを用いてすっぱりと背景を消して切り抜き、好きな背景と合成する技術は映画ではよく使われており、現実とほぼ見分けがつかない映像を作れるところまで進歩している。ただ、Kirari! においてはスタジアムや体育館など複雑な背景の中で、しかもリアルタイムで切り抜きを実行して伝送先で再構築するという高度な技術が要求される。今後はカメラが動くといった状況も予想される。外村氏は「研究として非常にチャレンジング。より強固な映像エンジンになるよう、磨きをかけている」と語る。

外村氏によれば、「聴衆がいる空間とステージの空間が連続していると感じさせるには、映像を等身大で映し出すことがキモ」だという。それでこそ離れた場所でもリアルイベントと同様の臨場感を体験することができるようになる。ただし、等身大では大会場での体験には向かないため、いずれはドコモのCMで示したように「みんなで一斉に楽しめる工夫」(外村氏)を整えていく必要がある。

同研究所では2020年を目標に、スポーツイベントやライブイベントを対象としてKirari! の本格的な提供を目指す。これまでも実際の空手の演舞をリアルタイムで伝送したり、「ニコニコ超会議2016」で実施した「超歌舞伎」の舞台上で、歌舞伎役者の中村獅童氏を4人に分身させたりと、徐々に新しい形のエンターテインメントを提供しつつある(写真2)。応用できるユースケースとしては、遠隔地からのカンファレンス、講義の共有といった教育分野も考えられる。

(写真2)空手の演舞をリアルタイム伝送したときの様子。平面スクリーンにはない臨場感がある(提供:NTTサービスイノベーション総合研究所)

現状では、Kirari!を利用するには大掛かりな舞台装置と入念な下準備が必要で、誰もがすぐに楽しめるエンターテインメント向けとは言えない。とはいえ、VR(仮想現実)とは違ってヘッドマウントディスプレイは必要ないし、子どもでも斜視への影響を気にすることなく気軽に体験できる。外村氏は、「やがては現実を超えることが目標。Kirari! では、リアルイベントではかなわない“演出”を施すことができる。Kirari! を通じて、ユーザーエクスペリエンスをどんどん変えていくような研究を加速させたい。SFに近い世界はすぐそこまで来ている」と話す。