脳信号から発話とジェスチャーを同時に読み取り、アバターで表現

会話では、言葉だけでなく、うなずき、手を振る動作、強調のしぐさ、姿勢、間の取り方が意味をつくる。カリフォルニア大学サンフランシスコ校（UCSF）のエドワード・チャン氏らの研究は、こうした複数の表現を、単一の脳インプラントから同時に読み取ることを目指したものだ。

研究チームは、高密度の皮質電気図（ECoG）アレイを使い、重度の発話器官・四肢麻痺がある3人の参加者について、意図した発話と上半身のジェスチャーを同時に解読した。結果は、音声と動作を伴う全身アバターの制御として示された。重要な技術実証ではあるが、現時点で日常的に使える臨床機器になったわけではない。 37

253電極で、発話と動作に関わる脳活動を記録

参加者には、感覚運動野の表面に253電極のECoGアレイが配置された。ECoGは脳の表面で電気活動を記録する方法で、研究チームは参加者が発話を試みる、手を振る・親指を立てるといったジェスチャーを試みる、または両方を同時に試みる際の信号を収集した。

そのデータを機械学習モデルに学習させ、脳活動を発話とジェスチャーの出力に対応付けた。対象には、ALS（筋萎縮性側索硬化症）や脳幹梗塞に伴う麻痺のある人が含まれる。 37

「同時に伝える」脳活動は、二つの信号の単純な合計ではない

発話と上半身の動作は、区別できる一方で連携した皮質活動パターンを示した。とくに重要なのは、発話とジェスチャーを同時に試みた際の神経表現が、「発話だけ」と「ジェスチャーだけ」の試行で得た信号を単純に足し合わせたものではなかった点だ。

同時の意思表現には独自の活動パターンがあるため、音声と動作を完全に別々の経路として扱うだけでは不十分になる。モデルは、二つを組み合わせた行動そのものを学習する必要があった。 37

同時データでの学習が、アバターの自然な連動につながった

発話とジェスチャーを同時に試みた訓練データで学習したデコーダーは、発話または動作だけの訓練データで作ったデコーダーよりも、並行して行う意思表現をより良く解読した。

2人の参加者では、リアルタイムのシステムが全身アバターを制御した。アバターは合成音声を出すと同時に上半身を動かし、「話しながら手を振る」といった形で表現できた。 37

文字選択だけでは補いにくい、非言語の情報

視線入力による文字盤・読み上げ装置では、文字やメニュー項目を順番に選ぶ必要があり、時間や負担がかかる場合がある。一方、自然な会話には、同意を示すうなずき、挨拶の手振り、指さし、語調の強調、相手に発言を譲る合図など、言葉以外の情報が数多く含まれる。

こうした信号を音声とともに取り戻せれば、やり取りをより速く、負担を少なく、豊かにできる可能性がある。ただし、この研究が示したのは技術的な実現可能性であり、長期の日常生活で生活の質を改善することまで実証したものではない。 37

将来は「言葉以外の意図」も支援する可能性

この成果は、コミュニケーション用ニューロプロステーシスが、将来は単語の出力を超えて、同意、強調、挨拶、感情を帯びたボディーランゲージ、会話の順番の調整といった意図を支え得ることを示唆する。また、一つの皮質インターフェースで、連携する複数のコミュニケーション手段を解読できるという原理も裏付けた。 37

次の課題は実用性だ。今回の実証は外部ケーブルを使う有線の研究セットアップだった。チームは、ケーブルを不要にし、長期的な日常利用をより現実的にする完全埋め込み型・無線式システムを計画している。

この開発は、2023年に報告した研究の延長線上にある。同研究では、脳幹梗塞による麻痺のある参加者の皮質信号から、文字、合成音声、表情を持つ顔アバターを生成した。今回の研究は、そこに上半身のジェスチャーを加え、より多層的なコミュニケーションへと対象を広げる試みといえる。 14