수술 없이 뇌파로 문장 읽어내는 메타 'Brain2Qwerty' 오픈소스 공개
메타는 뇌파(MEG)를 텍스트로 변환하는 비침습적 뇌-컴퓨터 인터페이스 시스템인 Brain2Qwerty v2를 발표했습니다. 딥러닝과 대형 언어 모델(LLM)을 활용해 기존 비침습적 방식의 한계를 크게 뛰어넘어 최대 78%의 단어 정확도를 달성하며, 수술이 필요한 침습적 기술에 근접한 성능을 보였습니다. 연구 가속화를 위해 전체 학습 코드와 데이터셋을 오픈소스로 공개하며, 뇌 손상으로 인한 의사소통 장애를 가진 사람들에게 새로운 소통의 가능성을 제시합니다.
뇌파에서 단어로: 뇌2쿼티(Brain2Qwerty)가 수술 없이 소통할 수 있는 새로운 방법을 제안합니다.
지난해 우리는 수술용 뇌 삽입물 없이 AI를 사용해 뇌 활동을 텍스트로 해독하는 연구인 뇌2쿼티 v1을 소개했습니다. 이제 비침습적 뇌 기록을 통해 실시간으로 문장을 해독할 수 있는 최고 성능의 엔드투엔드 파이프라인인 뇌2쿼티 v2를 공유하게 되었습니다. 이는 기존에는 뇌수술이 필요한 기술에서만 가능했던 정확도 수준에 근접한 결과입니다.
신경과학의 혁신을 가속화하기 위해 우리는 뇌2쿼티 v1 및 v2의 전체 학습 코드를 오픈소스로 공개하며, 파트너인 바스크 인지, 뇌 및 언어 센터(BCBL)는 v1 데이터셋을 함께 공개합니다. 우리는 이 연구가 의사소통을 방해하는 뇌 병변을 앓고 있는 수백만 명의 사람들에게 실질적인 도움을 줄 수 있을 것이라고 믿습니다.
입체定向 뇌파검사(SEEG)나 피부절개 뇌파검사(ECoG)와 같은 침습적 절차는 AI 해독기에 신호를 전달하는 신경 보조 장치가 소통을 회복할 수 있음을 보여주었지만, 규모를 확장하기가 어렵습니다. 우리의 비침습적 접근 방식은 이러한 한계를 극복하는 데 도움을 줄 수 있습니다.
우리는 자기뇌파(MEG) 장치를 착용하고 타이핑을 하는 9명의 자원봉사자로부터 각각 10시간씩 기록된 약 22,000개의 문장을 사용해 뇌2쿼티 v2를 훈련했습니다. 신경 이벤트를 감지하기 위해 수동으로 제작된 파이프라인에 의존하는 대신, 엔드투엔드 딥러닝을 사용하여 원시 뇌 신호에서 직접 문장을 해독합니다.
신경 데이터로 대형 언어 모델을 미세 조정(fine-tuning)함으로써 시스템은 문맥적 의미를 파악할 수 있게 되었고, 잡음이 많은 뇌 기록과 일관된 언어 간의 간극을 메웠습니다. 또한 해독 파이프라인 최적화를 탐색하기 위해 AI 에이전트를 배포했으며, 최종 학습 구성은 엔지니어가 수동으로 선택했습니다.
그 결과, 뇌2쿼티 v2는 잡음이 많은 신경 입력에서도 문장을 일관성 있게 복원하여 61%의 단어 정확도를 달성했습니다. 이는 다른 비침습적 방법의 8% 단어 정확도에 비해 크게 향상된 수치입니다. 특히 최고의 성능을 보인 참가자의 경우 78%의 단어 정확도를 기록하여, 절반 이상의 문장이 단어 1개 이하의 오류로 해독되었습니다. 또한 데이터 양에 따라 해독 정확도가 로그 선형적으로 향상되는 것으로 나타났으며, 이는 데이터 확장만으로도 수술적 접근 방식과의 성능 격차를 추가로 줄일 수 있음을 시사합니다.
이 연구는 우리가 뇌의 개방형 기초 모델을 구축하려는 노력의 일환입니다. 우리는 인지 인코딩을 위한 트라이브브이(Tribev2) 모델, 대규모 뇌 데이터를 처리하는 뉴럴셋(NeuralSet), 모델을 체계적으로 평가하는 뉴럴벤치(NeuralBench)를 보유하고 있습니다. 이는 디지털 뇌 프로젝트를 통해 개방형 데이터셋을 장려하기 위한 최근 500만 달러 펀드 조성을 통해 커뮤니티와 긴밀히 협력하여 이루어지고 있습니다.
우리는 이렇게 공개적으로 수행되는 연구가 신경과학 분야의 고립된 연구보다 빠르게 신경 장애를 식별, 진단 및 치료하는 데 기여하기를 희망합니다.
[관련 자료 링크]
- 뇌2쿼티 v2 논문 읽기
- 코드 다운로드
- 데이터 다운로드
- 뇌2쿼티 v1 블로그 읽기
- 네이처 신경과학(Nature Neuroscience)지의 뇌2쿼티 관련 기사 읽기
[메타 AI 소개 및 기타 웹사이트 메뉴/정보 생략]