본 논문은 비침습적(non-invasive) 뇌 기록을 통해 실시간으로 문장을 해독하는 고성능 엔드투엔드(end-to-end) 파이프라인인 Brain2Qwerty v2를 소개합니다. 기존의 침습적 수술 방식(stereotactic electroencephalography, electrocorticography)이 가진 확장성 문제를 해결하기 위해, 본 연구는 수술 없이 뇌 활동을 텍스트로 변환하는 데 중점을 둡니다.

핵심 방법론

Brain2Qwerty v2는 수동으로 설계된 신경 이벤트 감지 파이프라인 대신, 원시 뇌 신호(raw brain signals)에서 직접 문장을 해독하는 엔드투엔드 딥러닝(end-to-end deep learning) 방식을 채택했습니다.

1. 데이터 수집 및 모델 학습: 9명의 참가자가 magnetoencephalography (MEG) 장치를 착용하고 약 10시간 동안 타이핑하며 생성한 총 22,000개의 문장을 학습 데이터로 사용했습니다.
2. LLM 활용: 대규모 언어 모델(Large Language Models, LLMs)을 신경 데이터에 파인튜닝(fine-tuning)하여, 노이즈가 많은 뇌 신호와 언어적 일관성 사이의 간극을 메우는 시맨틱 컨텍스트(semantic context)를 활용합니다.
3. 최적화: 해독 파이프라인 최적화를 위해 AI 에이전트를 도입했으며, 최종 구성은 엔지니어가 수동으로 선택했습니다.

연구 결과 및 성과

• 성능 향상: 기존 비침습적 방식의 8% 수준이었던 단어 정확도(word accuracy)를 61%까지 끌어올렸습니다. 특히 최상위 참가자의 경우 78%의 정확도를 기록했으며, 절반 이상의 문장이 1단어 이하의 오차로 해독되었습니다.
• 데이터 스케일링 법칙: 연구진은 해독 정확도가 데이터 볼륨에 따라 로그 선형적(log-linear)으로 개선됨을 확인했으며, 이는 데이터 규모 확장을 통해 침습적 방식과의 성능 격차를 추가로 줄일 수 있음을 시사합니다.
  • 성능 개선 관계식 예시: $Accuracy \propto \log(Data\_Volume)$
• 오픈 사이언스: 본 연구는 Tribev2 (인지 인코딩 모델), NeuralSet (신경 데이터 처리 플랫폼), NeuralBench (모델 평가 프레임워크) 등 오픈 파운데이션 모델 생태계에 기여하며, Digital Brain Project를 통해 관련 코드와 데이터를 공개하여 신경과학 분야의 공동 연구를 장려합니다.

이 기술은 뇌 병변으로 인해 의사소통이 어려운 환자들에게 수술 없이도 효과적인 소통 수단을 제공할 수 있는 새로운 가능성을 제시합니다.