곽노필의 미래창
근육마비 환자 실험서…60% 정확도 달성
억양 변화와 간단한 멜로디 노래도 가능

근육 마비증으로 말을 거의 할 수 없는 환자가 실시간으로 음성 대화를 할 수 있는 뇌 컴퓨터 인터페이스(BCI)가 개발됐다. UC데이비스 제공

근육 마비증으로 말을 거의 할 수 없는 환자가 실시간으로 음성 대화를 할 수 있는 ‘뇌 컴퓨터 인터페이스’(BCI)가 개발됐다. 뇌-컴퓨터 인터페이스는 행동이나 말과 관련한 뇌 신호를 해석해 로봇 팔다리를 작동시키거나 음성이나 문자로 전환해 줌으로써 사지 마비 환자나 말을 할 수 없는 사람들을 돕는 장치를 말한다.

미국 데이비스 캘리포니아대(UC 데이비스) 의대 연구진은 말하려고 할 때의 뇌 활동을 읽어 즉시 음성으로 변환해 주는 뇌 이식 칩 기술을 개발해 국제학술지 네이처에 발표했다. 특히 이 장치는 환자가 선택한 특정 단어를 강조할 수 있고, 뭔가를 물어볼 때의 억양 변화는 물론 세가지 음 높이로 이뤄진 간단한 멜로디의 노래도 표현할 수 있다. 이는 이전의 뇌 이식 칩 장치들에선 구현하지 못한 능력이다.

5년 전 근위축성 측색 경화증(ALS), 이른바 루게릭병 발병으로 근육이 마비돼 정확한 발음을 할 수 없는 케이시 해럴(47)은 인공지능 기술에 기반한 이 장치 덕분에 자신의 목소리와 비슷하게 생성된 컴퓨터 음성으로 말을 할 수 있게 됐다.

연구진은 실험 참가자가 컴퓨터 화면에 표시된 문장을 말하도록 노력하는 동안, 이와 관련한 뇌 영역의 신호를 수집했다. UC데이비스 제공

뇌파 감지에서 음성 재현까지 0.025초

연구진이 해럴에게 칩을 이식한 때는 2023년 7월이었다. 연구진은 이후 그가 컴퓨터 화면에 표시된 문장을 말하려고 시도하는 동안 뇌 활동 패턴을 기록하고, 이를 음성과 결합시켜 패턴을 익히는 방식으로 인공지능을 훈련시켰다. 훈련 결과 인공지능은 10밀리초(0.01초)마다 뇌 신호를 포착할 수 있었다. 연구진은 또 루게릭병이 발병하기 전 그의 목소리 녹음 내용을 인공지능에 적용해 환자 본인 목소리와 비슷한 음성을 합성하도록 했다.

연구진이 개발한 뇌 이식 칩은 말할 때 사용하는 안면 근육을 움직이는 뇌 영역에 심은 4개의 작은 칩(256개 전극)들로 이뤄져 있다. 각 칩엔 1.5mm 길이의 실리콘 전극 64개가 박혀 있다. 이 전극이 뇌의 신경세포 활동을 기록해 컴퓨터로 전송하면, 컴퓨터가 이 신호를 해석해 음성으로 재구성해준다. 이 과정에 걸리는 시간이 25밀리초(0.025초)에 불과하다. 상대방이 지연 시간을 느낄 수 없을 정도의 짧은 시간이어서 실시간 대화가 가능하다.

흠, 헉 등 감탄사도 표현 가능

네이처는 “이 시스템은 3초 이내에 음성을 변환하거나 사용자가 문장 전체를 생각해낸 후에야 음성을 생성했던 기존 장치에 비해 지연 시간을 획기적으로 줄였다”고 평가했다. 연구에 참여하지 않은 네덜란드 마스트리흐트대 크리스타인 헤르프 교수(계산신경과학)는 “새로 개발된 장치야말로 음성 뇌컴퓨터인터페이스의 성배”라며 “이제 진짜 자연스럽고 지속적으로 말하는 것이 가능해졌다”고 말했다.

연구를 이끈 세리게이 스타비스키 교수(신경외과)는 “이 장치를 이용하면 즉시 음성 합성을 통해 대화에 더욱 적극적으로 참여할 수 있게 됐다”고 말했다. 예컨대 대화 도중 상대방의 말을 끊고 자신의 말을 할 수 있다는 것이다. 연구진은 또 이 장치는 ‘흠, 헉’ 같은 감탄사와 관련한 뇌 활동도 읽을 줄 알기 때문에 더욱 자연스런 음성 대화가 가능하다고 밝혔다.

미세전극 칩을 이식한 뇌의 모형. UC데이비스 제공

실생활에 적용 가능…“패러다임 전환”

실시간 음성 대화는 어느 정도 가능해졌지만 기능이 아직 완벽한 건 아니다. 실험 결과, 뇌 이식 칩이 변환한 합성 음성의 정확도는 약 60%에 이르렀다. 이는 연구진이 2024년에 개발한 문자 변환 기술의 정확도 98%에는 크게 못 미치는 수치다. 하지만 문자 변환 장치는 실시간 대화는 불가능했다. 인공지능은 또 훈련 데이터에 포함되지 않은 단어들도 원하는 대로 음성으로 표현할 수 있었다.

해럴은 연구진에게 합성 음성이 자신의 목소리로 말하는 것을 들으면 행복감을 느끼는 것은 물론 진짜 자신의 목소리처럼 느껴진다고 말했다고 네이처는 전했다.

스위스 제네바대의 실비아 마르케소티 교수(신경공학)는 “이번에 개발한 장치는 실생활에 적용할 수 있는 도구가 될 수 있다는 점에서 패러다임 전환이 될 만한 장치”라고 평가했다.

연구진은 기술을 좀 더 개선해 합성 음성의 정확도를 높일 계획이다. 연구진에 따르면 최대 1600개의 전극이 달린 새로운 칩 이식해 실험이 곧 시작될 예정이다. 연구진은 전극이 늘어나면 좀 더 명확한 언어 생성이 가능할 것으로 기대했다.

*논문 정보

An instantaneous voice-synthesis neuroprosthesis. Nature (2025).

https://doi.org/10.1038/s41586-025-09127-3

곽노필 선임기자 nopil@hani.co.kr

Copyright © 한겨레신문사 All Rights Reserved. 무단 전재, 재배포, AI 학습 및 활용 금지