ニューロコミュニケーターはヘッドギアによって取得したデータの中に含まれる、注意の瞬間的な高まりを反映した脳波成分「事象関連電位」を、パターン識別技術によって検出している。これによって、ALS患者などが伝えることができない「意志」を、脳の外に出力できるようになるという。

ヘッドギアを付けたユーザーが、画面に提示された8種類の絵文字の中から伝えたいメッセージと関連のあるものを選ぶと、その選ばれたものがなにであったかがパソコン上で示される(写真3)。具体的には、8種類の絵文字がランダムに光るので、自分が選んだ絵文字が光った時に「これだ」と脳で反応すれば、その時に変化した脳波が独自のアルゴリズムで解析され、ユーザーの意志がCGによるアバターで画面に表示される(図1)。例えば、8種類の絵文字に「トイレ」「飲み物」「テレビ」など介護の要望を登録しておけば、ユーザーは介護者に簡単に意志を伝えられる。

(写真3)ユーザーは画面を見つめて絵文字を選ぶだけ(写真撮影:元田光一)
(写真3)ユーザーは画面を見つめて絵文字を選ぶだけ(写真撮影:元田光一)
(図1)ニューロコミュニケーターを活用した意思伝達の仕組み(資料提供:産業技術総合研究所)
[画像のクリックで拡大表示]
(図1)ニューロコミュニケーターを活用した意思伝達の仕組み(資料提供:産業技術総合研究所)

脳とAI、ロボットが融合したコミュニケーションモデル

ニューロコミュニケーターで選べる絵文字は階層構造にもできるので、「飲み物」の下に「水」「お茶」などを紐付けておけば、選択肢が広がる。とはいえ、階層が深くなると選択する回数が増え、最終的にユーザーの意志が伝わるまでに時間がかかる。そこで、長谷川氏がさらに研究を進めているのが、リアル脳とAIの融合によるハイブリッド技術の開発だ。ユーザーの意志を引き出すために、会話のテーマの把握まではAIが行い、AIによって絞り込まれた絵文字の候補を最終的にユーザーが選ぶ。

例えば、介護者がユーザーの気持ちを確認するために「今日の体調はどうですか?」という質問をした場合、現状のニューロコミュニケーターでは、ユーザーがまず脳波選択によって最初の「総合メニュー」から「体調」のカテゴリーを選び、さらに具体的な体調の種類を選ぶ必要がある。ハイブリッド型BMIならば、介護者のセリフに含まれる「体調」というフレーズをマイクを通してAIが音声認識し、自動的に最初の階層から「体調」のカテゴリーを選ぶ。そうすれば、ユーザーは体調の種類を選ぶという1回だけの脳波選択だけで意志が伝えられる。

長谷川氏はコミュニケーションロボット「Pepper」に搭載されたセンサーと感情識別アプリをニューロコミュニケーターのシステムに取り込んでおり、ユーザーの脳波制御によってPepperがメッセージ伝達やジェスチャーを行えるようにしている。これによって、介護者がPepperに話しかければ、Pepperがユーザーの代わりに意志や感情を言葉で伝えられるようになるという。

画面に表示されるCGのアバターと違い、ロボットにはリアルな存在感がある。「世の中には、意識があることさえも伝えられないような患者もいる。そうした人たちの意識を引き出して、気持ちを代弁してくれるロボットがあれば、人間の尊厳を取り戻せるだろう。今後は臨床や介護現場における円滑なコミュニケーションの実現に向けた、“リアル脳+AI+ロボット”の融合を進めていきたい」(長谷川氏)。