マスクをしていると口元や表情が見えにくく、コミュ二ケーションを阻害する。コロナ禍を背景に、聞こえにくさを視覚で補っている聴覚障害者から、こんな指摘を耳にする機会が増えている。こうした課題を解決するために開発されたのが、ソースネクストの「ポケトークmimi/タブレットmimi」だ。これらは、同社が手掛けてきた音声翻訳機である「ポケトーク」から派生した“AIボイス筆談機”。日本語の発話を日本語のテキストで表示するこの製品、専用端末ならではの機能性が評判を呼んでいる。

 話している相手の口元の動きや表情、身振りなどから話の内容を読み取ることを「読話(どくわ)」という。聴覚障害者や加齢性難聴等で聴力に課題を抱える人にとって、読話は会話の内容を知るための大切なコミュニケーション手段の1つだ。

 しかし、現在はコロナ禍でマスク着用が常態化。透明のマウスガードやフェースシールドなどが出回っているものの、感染症対策には不織布マスクが推奨され、読話が難しいことが多い。読話以外では手話や筆談といった手段もあるが、手話は使いこなせる人が限られ、筆談は書くのに時間がかかってしまう。

 こうした課題に対応するのが、ソースネクストのAIボイス筆談機「ポケトークmimi/タブレットmimi」だ。

ソースネクスト 執行役員 製品企画Group責任者 杉浦圭祐氏(撮影:武藤 奈緒美、以下同)
ソースネクスト 執行役員 製品企画Group責任者 杉浦圭祐氏(撮影:武藤 奈緒美、以下同)
[画像のクリックで拡大表示]

 同製品の元になったのは多言語対応の通訳デバイス「ポケトーク」だ。端末に向けて話した言葉が入力情報となり、クラウド上の人工知能(AI)で情報解析し、翻訳された音声とテキストデータが出力される。例えば、日本語で話した内容が、英語に翻訳されるといった使い方だ。クラウドで処理するため、使用する際には通信環境が必要だが、音声入力から音声・テキスト出力までの時間が短く、ストレスは感じない。

 ポケトークは既に販売台数80万台超の人気製品に成長した。ところが、ユーザーアンケートを実施したところ、回答者全体のうち1.5%が日本語から日本語に“通訳”している。詳しく調べてみると、聴覚に課題がある人たちが筆談機の代わりとして使っていることが分かり、「これが製品化のきっかけ」だと、ソースネクスト執行役員の杉浦圭祐氏は語る。

 「実は弊社の松田(憲幸代表取締役会長兼CEO)の母親が高齢により重度の難聴で、その使い方に共感しました。ただ、ポケトークはポータビリティ重視で小さく、ご高齢者の中にはディスプレイの文字が読みにくい方も。そこでタブレット型のプロトタイプをつくり、松田が試したところコミュニケーションが円滑になり、本格的に製品化を検討することになりました」(杉浦氏)

高齢の母親を持つ会長が一番のモニターに

 プロジェクトの始動は2019年末。研究開発過程では松田会長親子が一番のモニターだった。サンプルを持っていくと率直な感想が寄せられ、新たな検討課題が次々に見つかる。

 「ご高齢の方には複雑な操作は難しいと考え、ボタンは1つにしました。押せばスイッチが入り、もう一度押せば消えるというシンプルな操作です。また、言葉をしっかりキャッチするためにマイクを6カ所まで増やしましたが、干渉が起きてうまく認識できませんでした。音声の収集範囲も重要で、広過ぎると周囲の会話や店内のBGMまで拾ってしまいます。かといって狭すぎると言葉がうまく拾えません。そのあたりのバランス調整に苦労しました」(杉浦氏)

 文字の読みやすさにもこだわった。書体は読み書きが困難な難読症という障害を持つ人にも認識しやすい教科書フォントを選び、背景には紙に近いテクスチャ画像を採用した。さらに、老眼鏡を使っている人が眼鏡着用でも裸眼でも見えるように、文字サイズは自由に調整できるようにした。

フォントや背景色など読みやすさにこだわった。文字の大きさは無段階で変えられる
フォントや背景色など読みやすさにこだわった。文字の大きさは無段階で変えられる
[画像のクリックで拡大表示]

端末の操作は誰がする?

 様々な工夫を積み重ねて研究を進めるなかで「端末を操作するのは必ずしも高齢者ではない」ことに気づく。高齢者が端末を使いこなせなくても、話しかける家族や介護者が操作できればよい場合も多い。そこで、ポケトークとほぼ同じサイズの「ポケトークmimi」を開発。タブレットmimiよりも先の2020年9月に発売された。

 「ポケトークminiとタブレットとの違いはボタンを押しながら話すこと(※)です。小型で持ち歩きやすいので、介護施設の職員やヘルパーの方の利用も多いです。また、聴覚に障害のある方が自ら買い物などに持って行くこともあります。ポケトークmimiを使ってみせると、初めて見た店員でもその意味に気づき、円滑なコミュニケーションにつながっているようです」(杉浦氏)

※ 2021年6月末配信の無料アップデートにより「ポケトークmimi」にもハンズフリー機能が追加

 ポケトークminiを病院に持って行くユーザーもいる。医療従事者の中には、コミュニケーションに配慮し、筆談を交えて意思の疎通を図ってくれる人もいるが、話し言葉と書き言葉では情報量が違う。医師の言葉をテキスト化して情報量の差に気づき、多くの情報を得られたことに満足したユーザーもいるという。

 最近は音声をテキスト化するアプリが多数出回り、スマホにインストールすれば、簡易の翻訳ツールとして使うことはできる。しかし、実際に筆者もいくつかのアプリを使ってみたが、精度や操作性に大きな違いがあった。

 「翻訳エンジンの差もありますが、それ以上に筐体(きょうたい)の違いが大きいです。専用機は筐体内の反響なども考慮して最適なマイクセッティングにしているので、言葉を素早く的確に拾うことができます。一方、スマホは機種ごとにマイクの位置や精度が異なるため、アプリは汎用的な設計にせざるを得ません。また、スマホは画面を見せながら話すことを想定していないので、筆談アプリと別のアプリを同時に表示することができません。例えば、地図を見ながら説明するといった使い方は難しいのです」(杉浦氏)

8インチのディスプレイを搭載する「タブレットmimi」(写真左)と、手の平にすっぽり収まるサイズの「ポケトークmimi」(画像提供:ソースネクスト)
[画像のクリックで拡大表示]
8インチのディスプレイを搭載する「タブレットmimi」(写真左)と、手の平にすっぽり収まるサイズの「ポケトークmimi」(画像提供:ソースネクスト)
[画像のクリックで拡大表示]
8インチのディスプレイを搭載する「タブレットmimi」(写真左)と、手の平にすっぽり収まるサイズの「ポケトークmimi」(画像提供:ソースネクスト)

より多くの人に便利さを伝えたい

 2021年2月にリリースしたブラウザ表示機能も、専用機ならではの機能と言える。スマホでもケーブルを使えば大画面に表示させることができるが、タブレットmimi/ポケトークmimiの場合はQRコードを読み込むことで、パソコンやスマホなど複数のブラウザの端末で同時に表示することが可能。セミナーや講演、結婚式など、大勢の人に向けて発信する場面はもちろんのこと、遠く離れた相手とのウェブ会議にも応用できる。

 「60代の3人に1人が高齢性難聴だと言われています。これから高齢の方が増加するなかで、聴こえにくさにお悩みを持つ方はますます増えると考えています。聴覚に課題を持つと周囲とのコミュニケーションが減っていくので、そうならないために活用してほしいです」(杉浦氏)

 とはいえ、課題もある。実際に使ってみると、コミュニケーションの支援ツールとして同製品の便利さは実感できるのだが、このツールを必要とする人に十分に届いているとは言えず、必要とする場面の広報も足りない。そんな問題意識から、NPO法人 人工聴覚情報学会(品川区)代表理事である眞野守之氏はソースネクストと連携し、タブレットmimi/ポケトークmimiの利活用の場を広げるべく活動している。

 「従来の音声認識・文字表示ソフトは別途デバイスが必要だったり、パソコン操作が必要だったり、使い勝手がよくありませんでしたが、タブレットmimiは操作性がよく、この端末だけで完結する点が魅力です。ぜひこれを高齢者や難聴者の生活に役立ててほしいと考え、現在は都内区役所にタブレットmimiを啓蒙する活動を行っています。また、聴覚障害者雇用の現場でも役立つとの声もあり、いろいろな場面で活用されることを期待しています」(眞野氏)

 新型コロナウイルスは人と人の距離を遠ざけ、コミュニケーションの在り様を変えた。しかし、こういったデバイスを使うことで、マスクを着用していても、ソーシャルディスタンスを保っても、言葉を伝えることはできる。世界を分断したウイルスに打ち勝てるのは、コミュニケーションを円滑にする技術なのかもしれない。

テキストデータを保存しておく機能もある
テキストデータを保存しておく機能もある
[画像のクリックで拡大表示]

(タイトル部のImage:出所はソースネクスト)