메뉴
HN
Hacker News 28일 전

수술 없이 뇌파로 문장 읽어내는 메타 'Brain2Qwerty' 오픈소스 공개

IMP
8/10
핵심 요약

메타는 뇌파(MEG)를 텍스트로 변환하는 비침습적 뇌-컴퓨터 인터페이스 시스템인 Brain2Qwerty v2를 발표했습니다. 딥러닝과 대형 언어 모델(LLM)을 활용해 기존 비침습적 방식의 한계를 크게 뛰어넘어 최대 78%의 단어 정확도를 달성하며, 수술이 필요한 침습적 기술에 근접한 성능을 보였습니다. 연구 가속화를 위해 전체 학습 코드와 데이터셋을 오픈소스로 공개하며, 뇌 손상으로 인한 의사소통 장애를 가진 사람들에게 새로운 소통의 가능성을 제시합니다.

번역된 본문

뇌파에서 단어로: 뇌2쿼티(Brain2Qwerty)가 수술 없이 소통할 수 있는 새로운 방법을 제안합니다.

지난해 우리는 수술용 뇌 삽입물 없이 AI를 사용해 뇌 활동을 텍스트로 해독하는 연구인 뇌2쿼티 v1을 소개했습니다. 이제 비침습적 뇌 기록을 통해 실시간으로 문장을 해독할 수 있는 최고 성능의 엔드투엔드 파이프라인인 뇌2쿼티 v2를 공유하게 되었습니다. 이는 기존에는 뇌수술이 필요한 기술에서만 가능했던 정확도 수준에 근접한 결과입니다.

신경과학의 혁신을 가속화하기 위해 우리는 뇌2쿼티 v1 및 v2의 전체 학습 코드를 오픈소스로 공개하며, 파트너인 바스크 인지, 뇌 및 언어 센터(BCBL)는 v1 데이터셋을 함께 공개합니다. 우리는 이 연구가 의사소통을 방해하는 뇌 병변을 앓고 있는 수백만 명의 사람들에게 실질적인 도움을 줄 수 있을 것이라고 믿습니다.

입체定向 뇌파검사(SEEG)나 피부절개 뇌파검사(ECoG)와 같은 침습적 절차는 AI 해독기에 신호를 전달하는 신경 보조 장치가 소통을 회복할 수 있음을 보여주었지만, 규모를 확장하기가 어렵습니다. 우리의 비침습적 접근 방식은 이러한 한계를 극복하는 데 도움을 줄 수 있습니다.

우리는 자기뇌파(MEG) 장치를 착용하고 타이핑을 하는 9명의 자원봉사자로부터 각각 10시간씩 기록된 약 22,000개의 문장을 사용해 뇌2쿼티 v2를 훈련했습니다. 신경 이벤트를 감지하기 위해 수동으로 제작된 파이프라인에 의존하는 대신, 엔드투엔드 딥러닝을 사용하여 원시 뇌 신호에서 직접 문장을 해독합니다.

신경 데이터로 대형 언어 모델을 미세 조정(fine-tuning)함으로써 시스템은 문맥적 의미를 파악할 수 있게 되었고, 잡음이 많은 뇌 기록과 일관된 언어 간의 간극을 메웠습니다. 또한 해독 파이프라인 최적화를 탐색하기 위해 AI 에이전트를 배포했으며, 최종 학습 구성은 엔지니어가 수동으로 선택했습니다.

그 결과, 뇌2쿼티 v2는 잡음이 많은 신경 입력에서도 문장을 일관성 있게 복원하여 61%의 단어 정확도를 달성했습니다. 이는 다른 비침습적 방법의 8% 단어 정확도에 비해 크게 향상된 수치입니다. 특히 최고의 성능을 보인 참가자의 경우 78%의 단어 정확도를 기록하여, 절반 이상의 문장이 단어 1개 이하의 오류로 해독되었습니다. 또한 데이터 양에 따라 해독 정확도가 로그 선형적으로 향상되는 것으로 나타났으며, 이는 데이터 확장만으로도 수술적 접근 방식과의 성능 격차를 추가로 줄일 수 있음을 시사합니다.

이 연구는 우리가 뇌의 개방형 기초 모델을 구축하려는 노력의 일환입니다. 우리는 인지 인코딩을 위한 트라이브브이(Tribev2) 모델, 대규모 뇌 데이터를 처리하는 뉴럴셋(NeuralSet), 모델을 체계적으로 평가하는 뉴럴벤치(NeuralBench)를 보유하고 있습니다. 이는 디지털 뇌 프로젝트를 통해 개방형 데이터셋을 장려하기 위한 최근 500만 달러 펀드 조성을 통해 커뮤니티와 긴밀히 협력하여 이루어지고 있습니다.

우리는 이렇게 공개적으로 수행되는 연구가 신경과학 분야의 고립된 연구보다 빠르게 신경 장애를 식별, 진단 및 치료하는 데 기여하기를 희망합니다.

[관련 자료 링크]

  • 뇌2쿼티 v2 논문 읽기
  • 코드 다운로드
  • 데이터 다운로드
  • 뇌2쿼티 v1 블로그 읽기
  • 네이처 신경과학(Nature Neuroscience)지의 뇌2쿼티 관련 기사 읽기

[메타 AI 소개 및 기타 웹사이트 메뉴/정보 생략]

원문 보기
원문 보기 (영어)
From Brain Waves to Words: Brain2Qwerty Offers a New Path to Communication Without Surgery Products AI Research Resources About Get Llama Try Meta AI Research From Brain Waves to Words: Brain2Qwerty Offers a New Path to Communication Without Surgery June 29, 2026 • 3 minute read Last year, we introduced Brain2Qwerty v1, research that uses AI to decode brain activity into text without any surgical implant. Now we're sharing the next step: Brain2Qwerty v2, the highest-performing end-to-end pipeline capable of real-time sentence decoding from non-invasive brain recordings, approaching levels of accuracy previously exclusive to techniques that require brain surgery. To help accelerate neuroscience breakthroughs, we're releasing the full training code for Brain2Qwerty v1 and v2, and our partner, the Basque Center on Cognition, Brain, and Language (BCBL), is releasing the v1 dataset . We believe this research has the potential to make a real difference for the millions of people who suffer from brain lesions that prevent them from communicating. Invasive procedures like stereotactic electroencephalography and electrocorticography have shown that a neuroprosthesis feeding signals to an AI decoder can restore communication, but they're difficult to scale. Our noninvasive approach can help bridge that gap. We trained Brain2Qwerty v2 on approximately 22,000 sentences from nine volunteer participants, each recorded for 10 hours wearing a magnetoencephalography (MEG) device while actively typing. Instead of relying on hand-crafted pipelines to detect neural events, we use end-to-end deep learning to decode directly from raw brain signals. Fine-tuning large language models on neural data allows the system to leverage semantic context, bridging the gap between noisy brain recordings and coherent language. We also deployed AI agents to explore optimizations for the decoding pipeline, with final training configurations selected manually by engineers. The result: Brain2Qwerty v2 recovers sentences coherently from noisy neural inputs, achieving a word accuracy rate of 61%, significantly improving upon the 8% word accuracy from other non-invasive methods . And for our best participant, we achieve a 78% word accuracy, where more than half of all sentences are decoded with one word error or less. We also find that decoding accuracy improves log-linearly with data volume, suggesting that the remaining performance gap with surgical approaches could be further narrowed through data scaling alone. This work contributes to our efforts to build open foundational models of the brain, with our Tribev2 model for perception encoding, NeuralSet to process brain data at scale, and NeuralBench to systematically evaluate models. We do this in close collaboration with the community, through our recent $5 million fund to stimulate open datasets in our Digital Brain Project . Our hope is that this work, done in the open, advances neuroscience to identify, diagnose, and treat neurological disorders faster than in siloes. Read the Brain2Qwerty v2 Paper Download the Code Download the Data Read the Brain2Qwerty v1 Blog Read about Brain2Qwerty in Nature Neuroscience Our approach About AI at Meta People Careers Research Infrastructure Resources Demos Meta AI Explore Meta AI Get Meta AI AI Studio Latest news Blog Newsletter Foundational models Llama Our approach Our approach About AI at Meta People Careers Research Research Infrastructure Resources Demos Meta AI Meta AI Explore Meta AI Get Meta AI AI Studio Latest news Latest news Blog Newsletter Foundational models Llama Privacy Policy Terms Cookies Meta © 2026