UCSF, 뇌 임플란트 하나로 말과 몸짓을 동시에 해독

대화는 말만으로 이뤄지지 않는다. 고개를 끄덕이거나 어깨를 으쓱하고, 손짓으로 강조하는 행동도 의미를 전달한다. 미국 캘리포니아대 샌프란시스코(UCSF) 연구진은 이런 언어·비언어 신호를 한꺼번에 복원하는 뇌-컴퓨터 인터페이스(BCI)를 선보였다. 발성기관과 팔다리 마비가 있는 3명의 참가자가 말하거나 상체 제스처를 하려고 시도할 때의 뇌 활동을 단일 임플란트로 기록한 뒤, 머신러닝으로 개인화된 가상 아바타의 음성과 동작으로 변환했다. 17

253개 전극으로 말과 움직임 신호를 함께 읽다

연구진은 감각운동피질 표면에 253개 전극의 고밀도 뇌전도(ECoG) 배열을 이식했다. 감각운동피질은 발화에 필요한 입·얼굴 움직임과 상체 움직임에 관련된 활동을 포괄하는 영역이다. 17

참가자들은 실제로 정상적인 움직임을 수행하기 어려운 상태에서 말을 하거나 제스처를 하려고 시도했다. 임플란트는 이 시도와 연관된 신경 신호를 기록했고, 머신러닝 모델은 이를 텍스트와 아바타 동작으로 변환했다. 따라서 음성 출력과 움직임 제어가 별개 기능으로 순차 작동하는 것이 아니라 동시에 이뤄질 수 있었다. 14

연구에서는 말과 관련된 입·얼굴 움직임뿐 아니라 고개 끄덕이기, 어깨 으쓱하기, 주먹 들어 올리기 같은 상체 제스처와 관련된 신호도 포착됐다. 이 가운데 2명에게는 말과 몸짓을 병렬로 해독해 아바타를 제어하는 실험이 진행됐다. 7

말과 몸짓을 따로 학습시킨 이유

말과 제스처는 서로 맞물린 소통 수단이지만, 연구진은 이를 하나의 일반적인 운동 명령으로 취급하지 않았다. 의도한 언어 출력과 움직임 출력에 맞춰 과제별 디코딩 방식을 적용했다.

특히 말과 몸짓을 동시에 시도할 때의 신경 패턴은 각각을 단독으로 수행할 때의 신호를 단순히 더한 것과 같지 않은 것으로 보고됐다. 복합 소통 과제로 학습해야 아바타가 의도한 말을 하면서 그에 어울리는 상체 동작도 함께 표현할 수 있다는 뜻이다. 다만 제공된 자료만으로는 이 비가산적 특성의 크기나 모든 과제별 디코더 성능을 독립적으로 비교·평가하기는 어렵다. 147

텍스트만 띄우는 보조기기와의 차이

기존 보조 의사소통 장치는 글자·단어·아이콘을 하나씩 선택하는 방식이 많다. 이런 장치도 중요한 역할을 하지만, 순차 입력은 대화를 느리고 피로하게 만들 수 있다. UCSF의 2023년 연구에서는 한 참가자의 기존 의사소통 장치 속도가 분당 약 14단어였던 반면, 실험 시스템은 텍스트를 분당 약 80단어로 해독했다. 28

새 BCI가 겨냥하는 지점은 속도만이 아니다. 글자만으로는 동의, 강조, 인사, 방향 지시처럼 대화에서 몸짓이 전달하는 사회적 의미를 모두 담기 어렵다. 말하고 움직이는 아바타는 단순히 화면에 문장을 표시하는 것을 넘어, 더 풍부한 표현을 돕는 것을 목표로 한다. 134

참가자와 실험이 보여준 범위

연구진은 발성기관과 사지 마비가 있는 3명의 참가자로부터 신경 활동을 기록했다. 발화 시도와 상체 움직임 시도를 시험했고, 이 중 2명에게서 말과 제스처의 동시 해독을 시험했다. 7

제공된 자료에는 참가자별 마비 원인이나 전체 실험 프로토콜이 충분히 제시되지 않았다. 관련 보도는 뇌졸중과 근위축성 측삭경화증(ALS) 등을 이러한 기술의 대상이 될 수 있는 질환으로 언급하지만, 이를 근거로 특정 참가자의 진단을 단정할 수는 없다. 36

아직은 연구용 유선 시스템

이번 결과는 상용 의료기기가 아니라 연구 단계의 개념증명이다. 현재 시연된 장비는 이식된 피질 전극 배열을 외부 기록·연산 장비에 연결하는 유선 시스템이다. 이 물리적 연결은 사용자가 일상에서 독립적으로 활용하는 데 제약이 된다.

연구진의 개발 목표는 피부를 통과하는 케이블을 없앤 완전 이식형 무선 버전이다. 그러나 제공된 근거에는 출시 일정, 제조사 또는 규제 승인 현황이 제시되지 않았으므로, 당장 이용 가능한 의료 제품으로 보기는 이르다.

2023년 음성·얼굴 아바타 연구의 다음 단계

이번 연구는 UCSF 주도의 2023년 Nature 연구를 잇는다. 당시 연구에서는 중증 마비와 무발성증이 있는 임상시험 참가자 1명이 253채널 고밀도 ECoG 배열을 통해 의도한 문장을 텍스트와 합성음성, 얼굴 아바타 애니메이션으로 변환했다. 33

이전 시스템이 음성과 얼굴 출력에 집중했다면, 새 연구는 같은 큰 틀의 접근법—뇌 표면 신호 기록과 인공지능 기반 해독—을 상체 제스처까지 넓혔다. 말과 비언어적 표현을 함께 복원하려는 신경보철의 중요한 진전이지만, 일상 진료에 쓰이기까지는 추가 연구가 필요하다. 12434