메타, 비수술적 뇌파 텍스트 변환 AI 성능 대폭 향상
메타(Meta)의 FAIR 연구팀은 뇌파(EEG/MEG)와 같은 비침습적 신호만으로 문장을 텍스트로 변환하는 'Brain2Qwerty v2' 모델을 발표했습니다. 수많은 데이터와 언어 모델(LLM)을 결합해 위험한 수술 없이도 뇌 칩植入(임플란트) 기술의 격차를 크게 좁혔으며, 이는 뇌졸중 등으로 말을 잃은 환자들의 실용적인 의사소통을 돕는 중요한 발전입니다.
메타(Meta)의 비침습적 뇌-텍스트 변환 AI가 수술용 뇌 임플란트와의 격차를 좁히고 있다.
메타의 FAIR 연구팀은 비침습적 뇌파 기록만으로 전체 문장을 복원하는 'Brain2Qwerty v2' 모델을 공개했다. 이 모델의 평균 단어 오류율(WER)은 39%로 낮아졌으며, 가장 우수한 성능을 보인 참가자의 경우 22%에 불과했다.
뇌 손상으로 인해 말을 하거나 움직일 수 없게 된 사람들은 의사소통을 위한 새로운 방법이 필요하다. 뇌 임플란트가 이를 안정적으로 수행할 수 있지만, 위험한 수술을 필요로 한다. 메타의 AI 부서인 FAIR은 수술이 필요 없는 대안을 연구해 왔으며, 최근 'Brain2Qwerty v2'를 통해 큰 발전을 이루었다.
연구를 위해 연구진은 두개골 외부의 자기장을 측정하는 뇌자도(MEG) 기술을 사용하여 9명의 건강한 지원자의 뇌 활동을 기록했다. 각 참가자는 10시간 동안 녹음되었으며, 이들은 총 22,000개의 문장을 타이핑했다. 실험은 참가자가 문장을 듣고, 잠시 멈춘 뒤, 화면에서 글자를 보지 않고 키보드로 입력하는 방식으로 진행되었다. 모델은 이 타이핑 단계에서 캡처된 뇌 신호로부터 문장을 복원한다. 논문에 따르면, 측정 가능한 활동은 주로 손가락 움직임을 제어하는 운동 피질(motor cortex)에서 발생한다.
10배 더 많은 데이터로 키 입력 타이밍 불필요 초기 버전인 Brain2Qwerty v1은 신호를 정렬하기 위해 각 키 입력의 정확한 타임스탬프가 필요했다. 반면 버전 2는 연속적인 신호 창(window)으로 작동하며 타이밍 정보 없이도 스스로 문자를 할당한다. 이 비동기식 접근 방식은 시스템이 아직 실시간 threshold를 넘지는 못했지만, 실시간 사용으로 나아가는 길의 핵심 장벽을 제거했다.
연구진은 더 어려운 작업이 가능해진 이유가 새 데이터셋에 기존보다 1인당 10배 더 많은 녹화 데이터와 훨씬 더 다양한 문장이 포함되어 있기 때문이라고 설명했다. 팀에 따르면 이 모델은 세 가지 AI 핵심 요소에 의존한다. 우선 딥러닝이 이전에 사용되던 수동 제작 인식 단계를 대체했다. 시스템은 문자, 단어, 전체 문장의 세 가지 수준에서 신호를 처리한다. 또한 팀은 AI 에이전트를 사용하여 최적화 코드를 직접 작성하게 했다. 문장 수준에서는 언어 모델(Qwen3)을 미세 조정하여 노이즈가 많은 뇌 신호를 일관된 문장으로 형성한다.
Brain2Qwerty v2는 평균 단어 오류율이 39%로, 언어 모델이 없는 기존 인코더의 55%와 비교해 향상되었다. 최고 성능의 참가자를 기준으로 28%의 문장이 완벽하게 해독되었으며, 47%의 문장은 최대 하나의 단어만 틀렸다.
단어 정확도는 향상, 문자 오류는 증가 연구팀은 Brain2Qwerty v2를 두 가지 단순한 방식과 비교했다. 첫 번째는 언어 모델의 보정 없이 뇌 신호에서 직접 문자를 읽어내는 기존 인코더(Raw encoder)다. 두 번째는 Brain2Qwerty v1의 방식으로, 엔그램(N-gram) 모델이 인코더 출력을 교정한다. 이 모델은 대규모 텍스트 컬렉션에서 문자 시퀀스의 통계적 가능성을 알고 개별 문자열을 부분적으로 수정하지만, 전체 문장을 구성하지는 못한다.
성능은 세 가지 수준에서 측정되었다. 문자 오류율(CER)은 잘못된 글자 수를 세고, 단어 오류율(WER)은 잘못된 단어 수를 센다. 그리고 의미론적 오류율(Semantic error rate)은 의미가 타겟 문장에서 얼마나 벗어났는지 포착한다. 단어와 의미 측면에서 Brain2Qwerty v2가 승리한다. 단어 오류율은 기존 인코더의 55%, v1의 엔그램 모델의 43%에 비해 39%로 떨어졌다.
하지만 문자 수준에서는 상황이 반대다. v2는 31%의 오류율을 기록하여 기존 인코더(28%) 및 엔그램 모델(26%)보다 더 나쁜 결과를 보였다. 그 이유는 언어 모델 때문이다. 언어 모델은 뇌 신호가 명확히 뒷받침하지 못하더라도 유창한 문장을 생성하도록 훈련되었다. 확신이 없을 때, 이 모델은 문법적으로는 완벽하지만 완전히 틀린 문장을 지어내기도 한다. 성능이 가장 낮았던 참가자의 경우, 모델은 타겟 문장 대신 "had she not fallen down the stairs"로 해독하는 실수를 범했다.