UCSF 연구진, 하나의 뇌 임플란트로 ‘말+몸짓’ 동시 해독

말을 할 때 우리는 단어만 전달하지 않는다. 고개를 끄덕이고, 손을 흔들며, 엄지를 들어 동의나 인사를 표현한다. 미국 캘리포니아대 샌프란시스코(UCSF)의 신경외과 의사 에드워드 창 연구팀은 이런 말과 몸짓의 결합을 하나의 뇌-컴퓨터 인터페이스(BCI)로 해독하는 가능성을 제시했다.

연구의 핵심은 단일 고밀도 피질 임플란트가 사용자가 말하려는 의도와 상체 제스처 의도를 동시에 읽어, 가상 아바타의 음성과 움직임으로 바꿀 수 있다는 점이다. 다만 이는 연구 환경에서의 개념 입증 결과로, 곧바로 임상에서 일상적으로 쓸 수 있는 제품이 나온다는 뜻은 아니다. 37

253개 전극으로 무엇을 읽었나

연구진은 근위축성측삭경화증(ALS)과 뇌간 뇌졸중 등을 포함해, 발성 기관과 팔다리에 심한 마비가 있는 참가자 3명의 감각운동피질에 253개 전극의 뇌피질전기검사(ECoG) 배열을 배치했다. ECoG는 뇌 안 깊숙이 전극을 넣는 방식이 아니라 뇌 표면에서 전기 활동을 기록하는 방식이다.

참가자들은 문장을 말하려고 시도하거나, 손 흔들기·엄지 들어 보이기 같은 제스처를 시도했다. 일부 과제에서는 말과 제스처를 동시에 시도했다. 연구진은 이때의 신경 활동을 기록한 뒤, 기계학습 모델이 해당 신호를 음성 및 몸짓 출력으로 연결하도록 학습시켰다. 37

‘말 신호 + 몸짓 신호’의 단순한 합이 아니었다

분석 결과, 발화와 상체 제스처에는 구별 가능한 뇌 활동 패턴이 나타났지만 두 행동은 서로 조율돼 있었다. 특히 말과 몸짓을 동시에 시도할 때의 신경 표현은, 발화만 했을 때와 제스처만 했을 때의 신호를 단순히 더한 것과 같지 않았다. 동시 소통에는 별도의 특징적인 활동 패턴이 있었다는 의미다. 37

이 발견은 모델 학습 방식에도 영향을 준다. 음성과 움직임을 완전히 독립된 두 채널로 다루기보다, 실제 대화처럼 두 행동이 결합된 사례를 학습 데이터에 포함해야 한다는 것이다.

동시 데이터로 훈련한 모델이 더 잘 해독했다

실제로 발화와 제스처를 동시에 시도한 데이터를 학습한 해독기는, 말 또는 움직임을 각각 따로 시도한 데이터만으로 훈련한 해독기보다 동시 행동을 더 잘 해독했다. 참가자 2명에서는 실시간 시스템이 전신 가상 아바타를 제어해, 합성 음성과 상체 움직임이 함께 나오도록 했다. 37

예컨대 아바타는 인사말을 내보내면서 손을 흔들거나, 말과 함께 동의의 몸짓을 보이는 식의 소통을 목표로 한다. 이는 단지 화면에 글자를 표시하는 보조기술보다 표현의 폭을 넓힐 수 있는 방향이다.

왜 시선추적 문자 입력보다 자연스러울 수 있나

시선추적 기반 의사소통 장치는 사용자가 화면의 글자나 메뉴를 하나씩 선택하는 방식이 흔하다. 정확한 의사 전달에 중요하지만, 순차 입력이 필요해 속도가 느리고 피로가 커질 수 있다.

반면 일상 대화에서는 타이밍, 강조, 자세, 가리키기, 인사, 동의 표시 같은 비언어적 신호도 의미를 만든다. 말과 제스처를 함께 복원할 수 있다면, 마비로 말하거나 움직이기 어려운 사람이 더 빠르고 풍부하게 의사를 표현할 가능성이 있다. 다만 이번 결과가 장기간의 실제 생활에서 삶의 질을 높인다는 점까지 입증한 것은 아니다. 현재로서는 기술적 실현 가능성을 보여준 단계다. 37

비언어적 의사소통 복원의 가능성

이 기술이 발전하면 단어 자체뿐 아니라 다음과 같은 의사소통 의도를 보조할 가능성이 있다.

• 동의·강조·인사 같은 제스처
• 감정이나 태도를 드러내는 몸짓 언어
• 대화 차례를 알리거나 상대의 말에 반응하는 신호
• 음성과 몸짓이 결합된 보다 자연스러운 상호작용

즉 하나의 피질 인터페이스가 여러 의사소통 양식을 함께 해독할 수 있다는 원리를 뒷받침한다. 37

다음 과제는 ‘유선 연구 장비’에서 일상 사용으로

이번 시연은 외부 장비와 연결된 유선 연구 시스템으로 이뤄졌다. 연구팀은 외부 케이블을 없앤 완전 이식형 무선 시스템을 계획하고 있으며, 이는 장기적이고 일상적인 사용에 더 적합한 형태를 목표로 한다. 37

이 연구는 창 연구팀이 2023년 발표한 성과의 연장선에 있다. 당시 연구진은 뇌간 뇌졸중으로 마비된 참가자의 피질 신호를 텍스트, 합성 음성, 표정을 지닌 얼굴 아바타로 변환하는 모습을 보였다. 이번에는 여기에 상체 제스처까지 더해, ‘말하는 아바타’에서 ‘말하고 몸짓하는 아바타’로 범위를 넓힌 셈이다. 14