UCSF, 253개 전극으로 ‘말하기’와 상체 제스처를 함께 해독

UCSF 연구진은 말과 움직임을 계획하는 데 관여하는 센서운동피질 표면에 253개 전극으로 구성된 고밀도 뇌파기록(ECoG) 배열을 이식했다. 참가자들이 말을 하거나 상체 제스처를 하려 시도할 때의 뇌 활동을 기록한 뒤, 머신러닝으로 이를 해석해 개인 맞춤형 가상 아바타의 음성과 움직임으로 수초 안에 동시에 출력했다. 23

핵심은 ‘하나의 신호를 두 방식으로 읽기’가 아니었다

참가자들은 마비로 인해 실제 발화나 상체 움직임에 제한이 있었지만, 말하기와 움직임을 시도할 때 생기는 피질 신호는 기록할 수 있었다. 연구진은 모든 의사소통 신호를 하나의 범용 모델에 맡기지 않고, 과제별 디코더를 따로 훈련했다. 23

• 한 디코더는 의도한 발화를 해석해 텍스트와 음성 출력으로 연결했다.
• 다른 디코더는 상체 제스처 명령 또는 움직임 정보를 아바타의 동작으로 변환했다.
• 그 결과 아바타는 인사말을 하면서 손을 흔들거나, 말과 함께 고개를 끄덕이는 식의 동시 표현을 할 수 있었다. 23

연구진의 중요한 신경과학적 관찰은, 말과 제스처를 함께 시도할 때의 뇌 활동이 ‘말만 할 때의 신호’와 ‘제스처만 할 때의 신호’를 단순 합산한 형태가 아니었다는 점이다. 따라서 실제 대화에 가까운 복합 의사소통 과제를 바탕으로 모델을 학습시키는 접근이 필요했고, 음성과 동작도 따로 붙인 기능이 아니라 조율된 출력으로 구현할 수 있었다. 다만 제공된 자료만으로는 이 차이의 크기나 디코더 성능을 수치로 평가할 수는 없다. 23

왜 말뿐 아니라 제스처까지 중요한가

시선 추적 기반 문자 입력·음성합성 장치는 글자나 아이콘을 순서대로 선택해야 하므로 느리고 피로할 수 있다. 또한 단어는 전달해도, 강조·동의·가리키기·자세 같은 비언어적 정보까지 충분히 담기 어렵다. 2

이번 접근은 언어와 비언어적 표현을 한 번에 복원하려는 시도다. 말하는 아바타가 동시에 손짓하거나 고개를 끄덕이면, 대화 상대방은 발화 내용뿐 아니라 화자의 의도와 뉘앙스를 더 자연스럽게 파악할 가능성이 있다. 다만 이는 아직 임상에서 일반적으로 사용할 수 있는 제품이 아니라 연구 단계의 시연이다. 23

참가자와 현재 한계

연구에는 발성기관과 팔다리에 모두 마비가 있는 3명이 참여했다. 제공된 근거는 이들이 발화와 상체 제스처를 시도하는 동안 시스템이 두 신호를 해독했다는 점까지 뒷받침한다. 다만 참가자별 진단명이나 마비 원인, 전체 실험 과제의 상세 목록은 확인되지 않는다. 23

현재 시스템은 전극 격자와 외부 기록·연산 장비를 물리적으로 연결하는 유선 방식이다. 이 연결선은 일상적이고 독립적인 사용을 제한하는 요인이다. 연구진이 제시한 다음 방향은 피부를 통과하는 케이블을 없앤 완전 이식형 무선 시스템이다. 다만 제공된 자료에는 개발 일정, 제조사, 규제 승인 현황이 포함돼 있지 않다.

2023년 UCSF 음성 신경보철 연구의 확장

이번 연구는 UCSF 창 연구팀이 2023년 발표한 음성 신경보철 연구의 연장선에 있다. 당시 연구진은 중증 마비와 무발화증이 있는 1명에게서 253채널 센서운동피질 배열로 의도한 문장을 해독하고 아바타를 제어했다. 1

2023년 시스템이 음성 출력과 얼굴 아바타 애니메이션에 초점을 맞췄다면, 이번 연구는 같은 고밀도 피질 기록과 AI 해독의 틀을 바탕으로 상체 제스처까지 동시에 표현하는 의사소통으로 범위를 넓혔다. 12