TL;DR
뇌 활동과 외부 자극 간의 양방향 매핑은 신경과학과 BCI 연구에서 핵심 과제이며, 기존 방법들은 인코딩과 디코딩을 분리하고 외부 사전지식에 과도히 의존하였다. BrainJanus는 뇌 신호를 이산 토큰으로 양자화하고 이미지·텍스트 토큰과 공유된 Omni 공간에서 학습함으로써 하나의 모델로 any-to-any 생성을 가능하게 하였다. 이 접근은 단일 백본으로 인코딩·디코딩을 통합하고 제로샷 일반화와 생물학적 위상성 보존을 달성하여 뇌 모델링의 범용성 제고로 이어진다.
왜 중요한가
뇌 활동과 외부 자극 간의 양방향 매핑은 신경과학과 BCI 연구에서 핵심 과제이며, 기존 방법들은 인코딩과 디코딩을 분리하고 외부 사전지식에 과도히 의존하였다. BrainJanus는 뇌 신호를 이산 토큰으로 양자화하고 이미지·텍스트 토큰과 공유된 Omni 공간에서 학습함으로써 하나의 모델로 any-to-any 생성을 가능하게 하였다. 이 접근은 단일 백본으로 인코딩·디코딩을 통합하고 제로샷 일반화와 생물학적 위상성 보존을 달성하여 뇌 모델링의 범용성 제고로 이어진다.
핵심 기여
Unified Brain Tokenizer로 연속 뇌 신호를 이산 토큰으로 양자화
논문은 VQ-style VQ-VAE 기반의 Unified Brain Tokenizer를 도입하여 연속적인 fMRI 신호를 코드북의 최근접 벡터로 양자화하여 이산 토큰 시퀀스로 변환하였다. 이 토큰들은 이미지와 텍스트 토큰과 동일한 차원으로 매핑되어 Omni 공간에 통합되며 이후의 자기회귀 학습에서 직접 사용되었다. 코드북 크기, 압축 비율, 임베딩 차원 등 토크나이저 설계가 모델의 재구성 및 의미 보존에 중요한 영향을 미친다는 실험 결과가 제시되었다.
All-in-One autoregressive Transformer로 any-to-any 생성 실현
모든 모달리티 토큰을 임의로 섞어 입력으로 사용하고 next-token prediction을 통해 뇌↔이미지, 뇌↔텍스트, 이미지↔텍스트 등 모든 변환을 단일 Transformer로 처리하였다. 이 단일 backbone은 토큰 순서를 자유롭게 구성하여 인코딩과 디코딩을 동일한 확률 모델로 취급하므로 별도 aligner나 diffusion prior에 의존하지 않는 end-to-end 생성이 가능하였다. 학습 시 negative log-likelihood 목적을 최소화하여 멀티태스크 합동 학습을 수행하였다.
합동 학습으로 교차 모달 지식 이전과 제로샷 일반화 달성
뇌·시각·언어 데이터를 섞어 한 모델로 학습함으로써 서로 다른 태스크 사이의 지식 이전이 촉진되었다. 이로 인해 fMRI→텍스트 학습만으로도 fMRI→이미지로의 제로샷 전이가 가능하였고, 반대 방향에서도 유사한 일반화 특성이 관찰되었다. 합동 학습은 단일 태스크에서의 과적합을 완화하고 다중 모달 표현의 일관성을 개선했다.
정량·정성 실험으로 기존 기법 대비 우수한 성능 및 생물학적 위상성 보존 확인
BrainJanus는 brain-to-text에서 BERTScore 38.12 및 CLIP 96.2%를 달성하며 기존 기법을 상회하였고 brain-to-image에서 CLIP 94.4%를 기록하여 고수준 의미 정합성을 확보하였다. 합성 fMRI는 해부학적 위상(topography)과 피험자 간 변이성을 보존하는 특성을 보였으며 이는 모델이 단순한 피쳐 유출이 아닌 의미 있는 신경 표현을 학습했음을 시사하였다. 또한 Padding Hacking 같은 평가 해킹 취약성을 분석하고 이를 회피하는 학습·평가 설계를 제안하여 평가 타당성을 높였다.
핵심 아이디어 이해하기
출발점은 뇌 활동, 시각, 언어가 동일한 의미를 서로 다른 표현 형식으로 인코딩한다는 가정이다. 기존 접근법은 주로 이미지 특징과 뇌 신호를 일대일로 정렬하거나 디코더에 외부 강력한 사전지식을 주입하여 복원성을 보장했으나, 이러한 방식은 모달 간 공유 의미를 충분히 포착하지 못하고 태스크별 파이프라인 분리를 초래했다. BrainJanus는 이 문제를 해결하기 위해 연속 뇌 신호를 이산 토큰으로 양자화하고 이미지·텍스트 토큰과 동일한 차원에서 통합함으로써 의미적 동일체를 직접 모델링하는 것을 목표로 삼았다.
해결 원리는 세 단계로 요약된다. 먼저 VQ-VAE 스타일의 Unified Brain Tokenizer가 연속적 뇌 신호를 코드북 인덱스의 시퀀스로 변환하여 디스크리트 표현을 생성한다. 둘째로 이미지와 텍스트는 기존 토크나이저로 동일한 Omni 공간 차원의 토큰 시퀀스로 매핑된다. 셋째로 모든 토큰을 하나의 Transformer 자기회귀 모델에 입력하고 next-token prediction을 통해 임의의 모달 변환을 수행하므로 별도 디코더·디퓨전 프라이어·CLIP aligner 없이 any-to-any 생성이 가능해진다.
이 접근의 주요 결과적 차이는 표현의 통합과 일반화 능력이다. 토큰 수준의 통합은 뇌 신호에 내재한 고수준 의미를 시각 및 언어 표현과 직접 공유하게 하여 합동 태스크 학습 중에 상호 보완적 정보를 흡수하게 한다. 이로 인해 모델은 제로샷으로 다른 디코딩 태스크에 응용될 수 있었고, 합성 fMRI가 해부학적 위상과 개인별 변이를 유지하는 특성을 보이며 단순한 피처 저장이 아닌 실제적인 신경 표현 학습을 시사하였다.
관련 Figure
이 도식은 인간 뇌의 다중모달 통합 관찰을 모델 설계의 근거로 삼아 Unified Brain Tokenizer를 통해 연속 신호를 이산 토큰으로 변환하고 Omni 공간에서 통합 학습하는 흐름을 시각적으로 정리하고 있다. 또한 기존의 태스크별 파이프라인과 대비하여 All-in-One autoregressive 접근이 어떻게 인코딩·디코딩을 한 모델로 처리하는지를 직관적으로 보여준다.
뇌는 저수준 특징과 고수준 의미를 통합하여 다중모달 표현을 형성하고 이전 작업과 달리 단일 자기회귀 모델로 양방향 인코딩·디코딩을 수행한다는 개념적 도식이다.
방법론
전체 접근은 두 단계로 구성되며 첫 단계는 Unified Brain Tokenizer의 사전학습이고 두 번째 단계는 Transformer 기반의 supervised fine-tuning이다. 토크나이저는 VQ-VAE 아키텍처를 사용하며 코드북 C={e_k}_{k=1}^K을 학습해 연속 인코더 출력 z_e(x)를 최근접 코드벡터로 양자화(z_q(x)=argmin_c ||z_e(x)-c||_2^2)한다. 토크나이저의 목적함수는 재구성 항(log p(x|z_q(x)))과 코드북 업데이트 항 및 encoder-commitment 항을 포함하여 안정적인 양자화와 재구성을 함께 최적화한다.
토큰화 이후에는 모든 모달리티를 동일한 차원 d_O의 토큰 임베딩 시퀀스로 투사하여 Omni 공간에 통합한다. 각 모달리티별 토크나이저 f_phi가 raw input을 토큰 시퀀스로 변환하고 이들 시퀀스를 임의로 섞어 하나의 길이 T 시퀀스로 만든 뒤 단일 autoregressive 모델 p_theta로 next-token 분포 p_theta(z_t|z_{<t})를 예측한다. 학습 목표는 전체 시퀀스에 대한 negative log-likelihood를 최소화하는 것이며, 이로써 모델은 임의의 모달리티 조합을 조건으로 하여 다른 모달의 토큰을 생성할 수 있게 된다.
학습 세부에서는 토크나이저에 대해 코드북 크기 128, 압축비 128, 임베딩 차원 32 등을 사용하였고 AdamW로 100 epoch를 돌렸다. Autoregressive 단계는 Janus-7B 파라미터 초기화와 LoRA 기반의 parameter-efficient fine-tuning을 적용하여 query/value 투영에 저순위 어댑터를 부착했고, negative log-likelihood 기반의 supervised fine-tuning을 합동으로 수행하여 뇌·이미지·텍스트 간 크로스모달 상호작용을 학습시켰다.
관련 Figure
이 그림은 데이터 흐름과 학습 단계(토크나이저 사전학습·통합 autoregressive 학습)를 구체적으로 연결하여 구현 관점을 보강한다. 토크나이저들이 동일한 Omni 차원으로 투사되는 지점과 생성 시 토큰들의 임의 교차가 어떻게 이루어지는지 시각적으로 확인할 수 있어 방법론 이해에 직접적인 정보를 제공한다.
BrainJanus의 전체 파이프라인을 나타내는 도식으로, 텍스트·비전·뇌 토크나이저와 생성기능을 갖춘 Autoregressive 모델, 그리고 Brain Tokenizer의 사전학습 흐름이 포함되어 있다.
이 차트들은 코드북 크기와 압축비가 재구성 품질 및 의미 보존에 미치는 트레이드오프를 정량적으로 보여준다. 결과는 코드북 크기 증가와 압축비 완화가 전반적 성능 향상을 가져오지만 일정 수준 이상에서는 개선 폭이 감소함을 제시하여 토크나이저 설계의 실무적 가이드를 제공한다.
코드북 크기와 압축비(compression ratio)에 따른 MSE, SSIM, AlexNet/CLIP 유사도 등의 성능 변화를 보여주는 ablation 차트들이다.
주요 결과
BrainJanus는 brain-to-text 태스크에서 BERTScore 38.12 및 CLIP 96.2%를 기록하며 비교 대상보다 높은 semantic 정합성을 보였다. brain-to-image 태스크에서는 autoregressive 모델임에도 불구하고 CLIP 94.4%를 달성하여 diffusion 기반의 기존 방법들을 상회하였고 픽셀·구조적 지표에서도 경쟁력 있는 결과를 보였다. 정성 결과는 생성된 캡션과 재구성 이미지가 객체 속성·구조적 일관성·의미적 세부를 더 잘 보존함을 시사하였다.
평가의 타당성을 확보하기 위해 Padding Hacking 기반의 평가 해킹을 분석하였으며, 이 기법이 image→visual embedding을 단순히 보존하면 모든 지표에서 완벽한 점수를 얻을 수 있음을 보여주었다. 이에 따라 BrainJanus의 encoding 학습에서는 cross-entropy나 MSE만을 사용하여 직접적인 시각 임베딩 유출을 방지하고 실제 신경 패턴을 학습하도록 설계하였다. Ablation에서 코드북 크기와 압축비의 트레이드오프를 확인하였고, 코드북 크기 128~256 이상에서 성능 향득이 둔화됨을 관찰하였다.
정리하면 BrainJanus는 통합 토크나이저와 자기회귀 학습을 통해 다양한 벤치마크에서 우수한 성능과 제로샷 일반화를 보였고 합성 fMRI가 생물학적 위상성과 개인차를 보존함을 통해 의미 있는 신경 표현을 학습했음을 뒷받침하였다.
관련 Figure
이 Figure는 BrainJanus가 뇌 신호로부터 추출한 텍스트 캡션이 객체·장면·속성에 대해 더 많은 의미적 정합을 유지함을 시각적으로 보여준다. 하이라이트된 단어들을 통해 어떤 종류의 의미 정보가 보존되거나 손실되는지 비교할 수 있어 평가 지표의 정량적 결과를 보완한다.
여러 기존 방법과 BrainJanus의 캡션 및 재구성 결과를 비교한 정성적 예시들이며, 색상 하이라이트로 의미적 일치와 오류를 표시하고 있다.
이 그리드는 범주별로 모델 성능 차이를 직관적으로 보여주며 BrainJanus가 사람·동물·장면·동작 등 다양한 클래스에서 구조적 일관성과 객체 속성 보존을 더 잘 유지함을 시사한다. 정성적 예시는 정량 지표에서 드러나는 성능 향상이 실제 시각적 품질로 연결됨을 보강한다.
다양한 자극 이미지와 MindEye2 및 본 모델의 재구성 결과를 나란히 배열한 그리드로, 여러 범주에 걸쳐 구조적·의미적 복원이 어떻게 다른지 비교할 수 있다.
기술 상세
전체 아키텍처는 세 부분으로 구성된다: 모달리티별 토크나이저(Brain/Visual/Text), 공유 Omni 임베딩 레이어, 그리고 All-in-One Transformer backbone이다. Brain Tokenizer는 VQ-VAE 구조를 사용하여 encoder→quantizer→decoder 흐름을 갖고 코드북 벡터 e_k를 학습하며 양자화는 최근접 이웃 탐색으로 수행된다. Visual과 Text는 기존 이미지 토크나이저와 subword 토크나이저를 사용해 동일 차원의 토큰 시퀀스로 평탄화되어 Omni 공간으로 투사된다.
Autoregressive 모델은 단일 Transformer로 구성되며 입력 토큰은 임의의 모달리티에서 나올 수 있고 모델은 prefix 기반으로 next-token 분포를 예측한다. 학습 손실은 전체 토큰 시퀀스에 대한 negative log-likelihood로 정의되어 p_theta(z_t|z_{<t})의 로그우도를 최대화하도록 파라미터가 갱신된다. 이 구조는 토큰의 임의 교차 배치와 다중 스텝 조건부 생성(e.g., brain→text→image)을 자연스럽게 지원한다.
구현 세부는 다음과 같다: 토크나이저는 코드북 크기 128, 압축비 128, 임베딩 차원 32로 설정되었고 AdamW lr=1e-4, batch size=256, 100 epoch로 학습되었다. Autoregressive 학습은 Janus-7B 초기화, hidden dim=4096, peak lr=2e-4, batch size=16, 15 epoch, ZeRO Stage-2 및 LoRA를 통한 쿼리/값 프로젝션 저순위 파인튜닝(스케일 16, dropout 0.2)을 적용하였다. 이러한 구성은 대규모 토큰 시퀀스와 긴 생성 길이를 감당하면서도 계산 자원 최적화를 목표로 하였다.
평가에서는 저수준 구조 지표(PixCorr, SSIM, AlexNet 레이어)와 고수준 의미 지표(CLIP, Inception, EffNet, SwAV)를 병행하여 재구성의 정밀도와 의미 보존을 동시에 측정하였다. 또한 padding hacking 취약성을 보정하기 위해 인코딩 학습에서 직접적인 시각 임베딩 정합을 회피하는 손실 설계를 채택하였다.
관련 Figure
이 Figure는 합성 fMRI가 원시 fMRI의 시공간적 패턴을 어느 정도 재현하는지와 그로부터 재구성된 이미지가 원본과 어떤 의미적 유사성을 가지는지를 동시에 검증하는 역할을 한다. 특히 cortical topography 레벨에서 합성 신호가 해부학적 패턴을 보존함을 시각적으로 확인할 수 있어 생물학적 타당성 근거로 활용된다.
원본 자극 이미지, 원시 fMRI, 합성 fMRI, 합성 fMRI로부터 재구성된 이미지의 예시를 행 단위로 제시하여 합성 신호의 시공간적 유사성을 보여준다.
한계점
논문에서 명시한 첫 번째 한계는 데이터와 적용 범위가 fMRI의 시각 피질 영역으로 제한되어 전체 뇌 활동에 대한 일반화가 검증되지 않았다는 점이다. 두 번째 한계는 강력한 생성적 사전지식을 사용할 경우 시각적 품질을 우선하여 실제 생물학적 충실도와 상충하는 'hallucination' 현상이 발생할 위험이 있다는 점이다. 세 번째 한계는 학습과 추론에서의 높은 계산 비용과 다양한 신경 모달리티·피험자 집단에 대한 강건성 검증이 아직 충분하지 않다는 점이다.
키워드
용어 해설
- Unified Brain Tokenizer
- — 연속적인 뇌 신호(fMRI/EEG)를 벡터로 인코딩한 뒤 VQ-VAE 스타일의 코드북에서 최근접 벡터로 양자화하여 이산 토큰 시퀀스로 변환하는 기법으로, 시각·언어 토큰과 동일한 차원의 Omni 공간으로 매핑하여 다중모달 통합 학습이 가능하게 한다.
- Omni Space
- — 뇌, 이미지, 텍스트의 토큰 임베딩을 동일한 차원으로 통일한 표현 공간으로, 각 모달리티의 토큰 시퀀스가 상호 교차·결합되어 하나의 autoregressive 모델로 any-to-any 생성을 가능하게 하는 공유 표현 공간이다.
- All-in-One Autoregressive Model
- — 다양한 모달리티의 토큰을 임의로 섞어 입력으로 받고 next-token prediction을 통해 모든 변환(image→brain, brain→text 등)을 처리하는 단일 Transformer 기반의 자기회귀 아키텍처로, 별도 파이프라인 없이 any-to-any 생성을 수행한다.
- Compression Ratio
- — 뇌 토크나이저가 연속 신호를 이산 토큰으로 압축할 때 입력 차원 대비 출력 토큰 길이의 비율을 뜻하며, 비율이 낮을수록 토큰 수가 작아져 생성 난이도는 낮아지지만 정보 손실이 커질 수 있어 성능과 효율성 간 트레이드오프가 발생한다.
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.