情報機器のユーザーインタフェース(UI)は、キーボードとマウスで入力し、モニターに出力して閲覧する時代から、より直感的な操作が可能となるタッチパネルの活用へと進化してきた。そして今、UIのさらなる進化系として、キーボードを腕に表示してタッチするハンズフリーの入力デバイスや、空間に映像を表示させる出力装置などが登場している。こうした入出力デバイスの仮想化により、将来は様々な場面で、「何も持たず、何にも触れないまま、モノを操作する」「本来とは異なる場所、時間帯に同じことを体験する」といったことが可能になっていく。

ポケモンGOが注目され、中高年層など、テクノロジーやイノベーションに馴染みがなかった人たちまでが、AR(拡張現実)を身近に感じるようになった。ゲームをはじめ、バーチャルリアリティ(VR)も用途が広がり、じわじわと認知度が高まっている。VR/ARというと、表示のための仕組みだと思うかもしれないが、そうとは限らない。VR/ARに仮想的な入力デバイス・イメージ、音声やジェスチャーなどの入力機構を組み合わせることで、UIに広がりが生まれる。触覚に訴えるVRも実用化に向かっている。

キーボード、マウス、タッチパネルといった従来のUIとは異なる入力インタフェースはほかにもある。最近目立ってきたのが音声だ。米アマゾン・ドットコムの「Amazon Echo」など音声アシスタントや、スマートフォンの音声認識は好例だろう。モーションセンサーによるユーザー行動(ジェスチャー)把握、脳波からの信号抽出など、未来のUIを支える要素技術は多様である。これらを活用すれば、利用者の環境、身体的条件、知識などに依存しない機器操作を実現できる。いわば「機器利用のバリアフリー」だ。

キーボードレスでも現場でキー入力

ARに入力インタフェースを組み込んだ仕組みは既に実用化されている。一例がNECが開発した「ARmKeypad」。腕の上にキーボードを表示させて情報を入力したり、空中に浮かんだアイコンをタップしたりして、パソコンなどの端末を操作できるようにした。

ARmKeypadはスマートグラスとスマートウォッチを連携させ、あたかも腕にキーボードや入力ボタンを装着している感覚で、高速・高精度なタッチ入力を可能にしたUIである。スマートグラスを着用して腕を見ると、カメラがスマートウォッチに表示されたマークを認識して、その横に仮想キーボードを表示させる。仮想キーボードのキーを指でタッチすると、カメラが指の位置や動きからどのキーをタッチしたかを識別。腕の上に貼り付けたキーボードを操作している感覚でキー入力できる。

想定される利用シーンの一つは、製造工場などでのメンテナンス作業である。メンテナンスの現場では、多数の資料を抱えていたり、作業場所が狭かったりと、端末を携帯しづらい場面がある。製造装置のチェックに手を使うケースなど、少なくとも両手では端末を操作しづらい場合もある。こうした場合、ARmKeypadを使っていると、腕に視線を移せばそこに仮想キーボードが表示され、片手でデータを入力できる(写真1)。キーボードだけでなく、視線を向けた方向にある機器の点検項目を空間に表示させることもできるため、マニュアルを確認しながら検査手順を確認するといった手間を省くことができる。

(写真1)ARmKeypadの利用イメージ
スマートウォッチを中心にして、その周りにタッチ入力が可能なキーボードなどを表示させられる。視線を向けた方向にある機器の点検項目を表示させることも可能で、わざわざ紙のマニュアルを見なくても作業できるようになる。

流通・物流サービスにおける商品受発注作業にも活用できる。例えば、スマートグラスで商品を見たときに、商品名や価格、メーカーなどの情報を表示するようにしておく。これなら商品の内容確認が容易になるうえ、仮想キーボードを使ってその場で発注処理なども行える。将来、消費者にスマートグラスが普及すれば、顧客用にはARでポップ広告を表示させる、特定商品のタイムセール案内を出す、外国語で説明を表示するといった使い方もできそうだ(写真2)。また食品加工、医療など衛生管理の条件が厳しい場面では、シールなどのマーカーを手首のあたりに貼っておくだけで、腕にキーボードやメニューを表示させることもできる。

(写真2)ARで商品説明を表示させることも可能

別のタイプのデバイスでは、富士通が開発した指輪型ウエアラブルデバイスもある(写真3)。ヘッドマウントディスプレイなどで情報やメニュー画面を空間に表示させることができる。入力はジェスチャー認識。空中で指先を動かして手書きすれば文字が入力される。数字の入力ならば認識率は95%に達するという。これも主な用途は設備の保守・点検である。

(写真3)空中で文字を入力する指輪型ウエアラブルデバイス
(富士通の発表資料より流用)

ARmKeypadや富士通の指輪型ウエアラブルデバイスは、基本的にスマートグラス利用を前提とする。こうしたデバイスと組み合わせる際に興味深いものがある。スマートコンタクトレンズである。ソニーは2016年4月、カメラやディスプレイを内蔵したコンタクトレンズの特許を米国で申請した。レンズユニット、撮像素子、マイクロプロセッサ、メモリーを有するデジタルカメラとして、まぶたの圧力をセンシングすることでまばたきによってシャッターを切る(図1)。撮影した画像をコンタクトレンズに表示することができ、パソコンやスマホに画像が送信できるように無線通信のユニットも搭載されている。通信機能と画像表示機能を備えたスマートコンタクトレンズは、韓国のサムスン電子も2014年に特許を申請している。スマートコンタクトレンズが実用化されれば、スマートフォンなど各種デバイスのあり方が大きく変わる可能性がある。

(図1)ソニーが米国で特許出願したスマートコンタクトレンズ(米国特許出願公開情報より抜粋)

スマートグラスなしでのタッチレスも登場

スマートグラスなどを装着して画像を見るのではなく、小さなプロジェクターをデバイスに搭載し、手の甲などに投影するというタイプのUIも登場しそうだ。開発しているのはサムスン。同社は2016年5月、スマートウォッチから手の甲に画像を投影する特許を米国で申請した。スマートウォッチには操作する指の位置を捉えるセンサーも搭載し、投影された画像の項目を指で選択したり、手書きで文字を入力したりすることができる(図2)。専用のペンや紙を使うことで描かれた文字や図を直接デジタル化するデジタルペンと似た仕組みを、ウエアラブルデバイスで実現したようなものだ。

(図2)サムスンがアメリカで特許出願したプロジェクター搭載スマートウォッチ
指による情報入力に対応している。(米国特許出願公開情報より抜粋)