脳内信号から発話と身ぶりを同時に復元　UCSFの253電極BCI

UCSF（カリフォルニア大学サンフランシスコ校）の研究チームは、発話や運動の計画に関わる感覚運動野の表面に、253電極からなる高密度の皮質脳波（ECoG）アレイを留置しました。重度のまひがある参加者が話そうとし、同時に上半身のジェスチャーをしようとしたときの脳活動を記録し、機械学習で数秒以内に解読。個人に合わせた仮想アバターの発話と動きとして同時に出力しました。23

仕組み：一つの電極アレイ、二つの表現チャンネル

まひによって実際の発声や動作が難しくても、声道を動かそうとする意図や、上半身を動かそうとする意図に関連した大脳皮質の活動は記録できます。研究チームはこの信号を利用しました。23

重要なのは、すべてを一つの汎用モデルに任せるのではなく、用途別のデコーダーを訓練した点です。

• 発話用デコーダーは、意図した発話を読み取り、画面上のテキストやアバターの音声出力につなげる。
• ジェスチャー用デコーダーは、アバターの上半身の動作や運動指令を推定する。

これにより、たとえば「こんにちは」と話しながら手を振る、同意を示すようにうなずく、といった言語・非言語の表現を並行してアバターに担わせることを目指しました。23

「話す」と「身ぶりをする」は単純な足し算ではない

研究で得られた神経科学上の要点は、発話とジェスチャーを同時に試みたときの脳活動が、発話のみの場合とジェスチャーのみの場合の活動を単純に合算したものではなかったことです。23

このため、実際のコミュニケーションに近い、発話と動作を組み合わせた課題で学習させることが重要になります。結果として、声と動きを別々に後付けするのではなく、より協調したアバター表現につながる可能性があります。もっとも、提供された資料には、この非加算性の程度やデコーダー性能を数値で示す詳細はありません。23

言葉だけでは伝わりにくい意味を補う可能性

視線追跡による文字入力・音声出力は、文字やアイコンを順番に選ぶ必要があり、時間や負担を要することがあります。また会話では、言葉そのものだけでなく、指さし、姿勢、強調、相づちなどの非言語的な要素も意味を担います。2

この研究の狙いは、発話と上半身の動きを一度に扱うことで、こうした複数のコミュニケーション手段を取り戻すことです。ただし、これは現時点で研究として示された実証であり、日常的に利用できる臨床製品ではありません。23

参加者と現時点の制約

研究には、声道と四肢の両方にまひのある3人が参加しました。2 提供資料から確認できるのは、参加者が発話と上半身ジェスチャーを試み、その両方をシステムが解読したことまでです。個々の診断名やまひの原因、実験課題の全容は示されていません。3

また、実証されたシステムは現在、有線式です。頭蓋内の電極グリッドを外部の記録・演算装置につなぐ必要があり、日常生活で自立して使うには制約があります。研究チームが目指す方向性は、皮膚を貫くケーブルを不要にする完全埋め込み型の無線システムです。ただし、実用化時期、製造元、規制上の状況は、提供資料だけでは確認できません。

2023年のUCSF研究からの発展

今回の成果は、Changチームが2023年に『Nature』で発表した発話ニューロプロステーシス研究の発展形です。2023年の研究では、重度まひと無発語症のある1人を対象に、感覚運動野などに留置した253チャンネルの高密度ECoGアレイから、意図した文を解読し、アバターを操作しました。1

当時は主に発話出力と顔のアバター表現に焦点がありました。新たな研究は、同様の高密度皮質記録とAIによる解読という基盤を、上半身のジェスチャーを伴う同時コミュニケーションへと広げたものです。12