国立大学法人長崎大学は2021年3月、「長崎大学関節リウマチ遠隔医療システム(NURAS:Nagasaki University Rheumatoid Arthritis remote medical System)」の実証実験を、長崎大学病院(長崎県長崎市)、五島中央病院(長崎県福江島)で開始した。長崎大学病院と五島中央病院をネットワークで接続し、長崎大学病院の専門医がNURASを使って五島中央病院の関節リウマチ患者を遠隔診断する。

NURASの活用イメージビデオ(出所:日本マイクロソフト)
NURASの活用イメージビデオ(出所:日本マイクロソフト)

 NURASは複合現実(MR)の技術を活用して、遠隔地の関節リウマチ患者を高い精度で診察するためのシステム。専門医は日本マイクロソフトのヘッドマウントディスプレー(HMD)「Microsoft HoloLens 2」を頭部に装着し、HoloLens 2が目の前に投影する3Dホログラム映像を見ながら診断する。3Dホログラム映像は手の動きだけで任意の方向に回転させることができ、患部を様々な角度から観察できる。これによって、平面画像だけでは難しかったリウマチの病変部位を、細かく観察・評価できるようになる。

HoloLens 2を装着した専門医の目の前に投影される3Dホログラムのイメージ (出所:日本マイクロソフト)
HoloLens 2を装着した専門医の目の前に投影される3Dホログラムのイメージ (出所:日本マイクロソフト)
[画像のクリックで拡大表示]

 患者側の診察室には深度センサー、カラーカメラ、複数のマイクを持つ「Azure Kinect」(商品名はハードウエアのAzure Kinectと開発キットをセットにしたAzure Kinect DK)を設置し、Azure Kinectが撮影したデータからHoloLens 2の3Dホログラム映像を生成する。長崎大学病院の専門医と五島中央病院の非専門医、患者とのコミュニケーションにはコラボレーションツールの「Microsoft Teams」を使用する。

  3月末には、実証実験で利用中のNURASに、診察時の患者の表情の変化を素早くとらえて患者の心情 (不安や満足度など) を自動的に評価する機能や、患者との対話を文章で時系列に記録する機能を実装した。これらの追加機能には、クラウド・プラットフォーム「Microsoft Azure」のAI(人工知能)機能である「Azure Cognitive Services」を利用している。

 長崎大学、日本マイクロソフト、五島中央病院、長崎県、長崎県五島市は、「次世代オンライン遠隔医療システムの開発・提供に関する連携協定」を2021年3月に締結しており、今回の実証実験は同協定にもとづく最初のプロジェクトとなる。