UCSF、脳インプラント1つで発話と身ぶりを同時に解読

言葉だけでは、会話は成り立ちません。うなずき、指さし、肩をすくめる動作には、同意や強調、感情といった意味が込められます。米カリフォルニア大学サンフランシスコ校（UCSF）の研究チームは、こうした**発話と非言語的な身ぶりを同時に読み取る脳コンピューター・インターフェース（BCI）**を実証しました。

発声器官と四肢に重度の麻痺がある3人を対象に、脳表に埋め込んだ単一の電極アレイで神経活動を記録。機械学習を使って、参加者が「話そうとした」意図と上半身を動かそうとした意図を、ほぼリアルタイムで個人向けの仮想アバターの音声・動作へ変換しました。17

253電極のBCIはどう働くのか

研究で用いられたのは、253個の電極を備えた高密度ECoG（皮質脳波）アレイです。電極は、発話に関わる運動と上半身の運動の双方に関連する感覚運動皮質の表面に配置されました。17

参加者は、通常どおりには実行できない発話やジェスチャーを試みます。インプラントはその際の神経信号を記録し、機械学習モデルが信号をテキストとアバターの動作へ変換します。重要なのは、音声出力と動作を別々に操作するのではなく、両者を同時に出せる点です。14

研究チームは、発話に関係する口や顔の動きに加え、うなずき、肩をすくめる動作、こぶしを突き上げる動作など、複数の動作に対応する信号を確認しました。参加者3人のうち2人では、発話とジェスチャーを並行して解読し、アバターの制御に利用しました。7

発話と身ぶりを「別々に」解読する意味

発話とジェスチャーは密接に結び付いていますが、研究チームは両方を単一の漠然とした運動指令として扱ったわけではありません。意図した言語出力と動作出力に応じ、目的別のデコーディング手法を用いました。

同時に発話と身ぶりを試みたときの神経パターンは、発話だけ、あるいは身ぶりだけの信号を単純に足し合わせたものではないことも報告されています。そのため、複合的なコミュニケーション課題で学習させることで、アバターが発話に対応する身ぶりを伴って表現できるようになりました。ただし、提供された情報だけでは、この「単純加算ではない」効果の大きさや、すべての課題におけるデコーダー性能を独立に評価することはできません。147

テキストのみの支援機器を超える可能性

支援コミュニケーション機器には、文字や単語、アイコンを一つずつ選択する方式が多くあります。こうした機器は重要ですが、順番に選ぶ操作は会話を遅くし、利用者に大きな負担をかける場合があります。

UCSFの2023年の関連研究では、既存のコミュニケーション機器で毎分約14語だった参加者が、実験システムではテキストを毎分約80語で解読できたと報告されました。28

今回のBCIが目指すのは、速度だけではありません。文字だけでは、あいさつ、同意、強調、方向を示す動きなど、会話の社会的な意味のすべてを伝えにくいことがあります。話し、動くアバターは、画面上に文字を表示するだけでなく、より表現力のある意思伝達を支援することを意図しています。134

参加者と実験で示されたこと

神経活動の記録は、発声器官と四肢に麻痺がある3人から行われました。試験では、発話の試行、上半身の動作の試行、そして2人については発話とジェスチャーを並行して解読する課題が実施されました。7

提供された情報には、参加者ごとの麻痺の原因や、完全な実験手順は示されていません。より広い対象集団については、脳卒中や筋萎縮性側索硬化症（ALS）などの状態に触れた報道もありますが、今回の個々の参加者に特定の診断名を当てはめることはできません。36

消費者向け製品ではない――現状は有線の実証機

このBCIは、現時点では研究用の実証システムです。実演された構成は有線で、埋め込まれた皮質電極グリッドを外部の記録・計算装置へ物理的に接続する必要があります。この接続は、日常生活での自立的な利用を制約します。

開発目標としては、皮膚を貫くケーブルを不要にする完全埋め込み型・ワイヤレス版が掲げられています。ただし、提供された根拠には実用化時期、製造元、規制当局の承認状況は記されていません。利用可能な医療製品とみなすには、まだ早い段階です。

2023年の「話す顔アバター」研究からの発展

今回の成果は、UCSF主導で2023年に発表された『Nature』誌の研究を受け継ぐものです。当時は、重度麻痺と無発語症のある臨床試験参加者が、253チャンネルの高密度ECoGアレイを用いて、意図した文章をテキスト、合成音声、顔のアバターアニメーションへ変換しました。33

2023年のシステムは主に発話と顔の表現に焦点を当てていました。新しい研究は、脳表からの記録とAIによる解読という同じ基本的アプローチを、上半身のジェスチャーを含む同時コミュニケーションへと拡張したものです。言葉と非言語表現の両方を取り戻す神経補綴の方向性を示す一歩ですが、日常診療で使える技術になるまでには、なお多くの研究が必要です。12434