情報機器を社会に浸透させていくうえで、ユーザーインタフェース(UI)は重要な役割を担う。その一つが、ディスプレイモニターやスクリーンといった出力デバイス。実は今、この領域では、映像を2次元や3次元空間に投影する技術が続々と登場している。あたかもそこに存在するように感じさせる技術が人の命を守る医療分野や、安全安心な社会を構築するといった分野で活用される。

<<前編はこちら

京都大学とパナソニックは共同で、可視光投影装置「Medical Imaging Projection System(MIPS)」を開発した。京都大学医学部付属病院ではこのシステムを活用し、プロジェクションマッピングで臓器の変形、移動をリアルタイムに反映して切離線などを直接投影する手術ナビゲーターの研究開発を行っている。

同病院でこれを応用したのは肝切除の手術。高齢者や肝機能が低下した患者への肝臓切除手術では、不要な出血を予防し、残すべき肝機能を温存することが重要になる。そのため、3D手術シミュレーションを実施して、事前に経験を積んでいる。また、近赤外線で発光する色素(ICG)を体内に注入し、赤外線カメラの映像を見ながら切除すべき部位を確認する蛍光ナビゲーション手術も実施している。

ただ、手術前の3Dシミュレーションでは、手術中の臓器の変形や移動には追随できない。また、蛍光ナビゲーション手術では、赤外線カメラで撮影したICGの画像をモニターで観察するために頻繁に視線を動かすという負担があり、正確性にも課題がある。さらに赤外線カメラへの影響を避けるために、無影灯を消した暗い術野での手術となる。そこでMIPSでは、赤外線カメラで撮影したICGの画像を、近赤外線を発しないプロジェクターを使って患者の臓器に直接投影するようにした(図1)。カメラとプロジェクターは光学系の軸を誤差無く合わせているので、呼吸によって臓器が動いたり変形したりしてもリアルタイムに追従する。今後臨床試験を重ねて実用化を目指す。

(図1)京都大学とパナソニックが共同研究したMIPSによる肝臓手術(京都大学の発表資料より抜粋)

安全安心な標識への応用が期待される空中ディスプレイ

なにもない空間に映像を投影する、いわゆる「空中ディスプレイ」の技術も進展している。三菱電機は、人が映像を通り向けることができる空中ディスプレイを開発した(図2)。これまでの、テーブル状の物体の上に映像を浮かべる空中ディスプレイでは、映像の下にシステムがあるため、人が歩いて映像の中を通過することはできなかった。劇場などで演出に使われる大型の空中ディスプレイも、実際には映像をスクリーンに映し出しているので通り抜けはできない。

(図2)空中ディスプレイの仕組み
入射光を反射光と透過光に分離するビームスプリッターと、入射光を入射した方向へ反射する再帰性反射シートを組み合わせて空中に映像を結像する。(三菱電機の資料より流用)

この点、三菱電機の空中ディスプレイは空間に光を結像しているだけなので、遮るものなく映像の中を通り抜けていくことができる。「ビームスプリッターと再帰性反射シートのサイズに制限されるが、解像度や輝度の劣化がなければより大画面化は可能」(三菱電機 先端技術総合研究所 映像処理技術部 中村芳知氏)。これによって、たとえばセキュリティゲートの入り口に映像を表示して案内したり(写真1)、水族館で海の中を通っているような演出に使ったりすることができる。デジタルサイネージやアミューズメント、案内標識など公共サインの分野で2020年度以降の実用化に向けた開発を進めていくという。

(写真1)セキュリティゲートへの応用もあり得る
入り口を空中ディスプレイの映像で表示すれば、通り抜ける人に合わせて言語を変えるなどの工夫もできる。

空中ディスプレイの用途の一つとして期待されているのが、空中標識のようなもの。例えば高速道路などで、逆走しているクルマに対し、車の前に空中ディスプレイで注意勧告の標識を表示する。必ず目にとまるだろうし、そのまま通り抜けることができるので安全である。