인간 뇌의 플라토닉 표현: 비지도 회복으로 보편 기하학을 찾다

개별 뇌에서 학습된 fMRI 임베딩을 서로 다른 사람의 뇌로 옮겨 같은 좌표계에 배치할 수 있는지 탐구한다. 교차 피험자 조회를 위해 paired inputs 없이도 자가-supervised 방식으로 공간 정렬이 가능하다는 점을 제시하며, 신경생물학과 인공지능 모델 간의 표현 기하를 연결하는 새로운 가능성을 보여준다. 이를 통해 데이터가 서로 다른 사람 간에 재사용 가능하다는 실용적인 시사점을 제공한다.

이 연구의 출발점은 서로 다른 네트워크가 동일한 세계의 구조를 근본적으로 닮아가는 현상을 인간 뇌에서도 찾을 수 있는지 묻는 것이다. 피험자별 fMRI 임베딩은 서로 다른 점 구간에서 노이즈에 의해 왜곡되므로, 먼저 반복 자극의 다중 뷰를 통한 geometry-preserving 임베딩을 학습한다. 이후 pairwise translation에서 Z(s)와 Z(t) 사이의 관계를 직교 회전으로 모델링하고, 마지막으로 이를 전 피험자에 걸친 하나의 공유 좌표계로 동기화한다. 이 과정을 통해 피험자 간의 표현 공간이 근사적으로 등거적이며 공통 좌표계로 옮겨질 수 있음을 보여준다.

단계 1: subject s의 fMRI 응답을 reliability-weighted 입력으로 받아 PCA로 dPCA 차원으로 축소하고, 다중 뷰 CCA(MCCA)를 통해 반복 뷰 간의 공통 구성요소를 추출한다. 이후 Y를 Z¯lin으로 distill하기 위해 ridge 회귀를 적용하고, Zlin에 nonlinear residual refinement(gθ)으로 보완한다. 학습 목적은 LNCE(contrastive) 손실과 Lpull을 합친 목적함수를 최소화하는 것이다. 입력은 {Xi}r_i=1의 반복 뷰이며, 각 Xi는 ns×vs 행렬이다. [어떤 값을 입력으로, 어떤 연산을 수행해, 어떤 결과를 얻고, 그 값의 의미]를 따르면, fs는 같은 이미지의 서로 다른 뷰 Xi, Xj에 대해 fs(Xi) ≈ fs(Xj)가 되도록 학습한다. 단계 2: 두 피험자 s, t 간의 임베딩을 매핑하기 위해 Z(s)와 Z(t)의 pseudo-parallel 쌍(z(s), z~(t))를 생성하고 Procrustes 문제를 최소화한다. Rs→t ∈ O(d)가 ∥Z(s)R − Z~(t)∥F^2를 최소화하도록 학습된다. 반복적으로 업데이트되며 최종적으로 Rs→t를 얻는다. 단계 3: 모든 쌍의 Rs→t를 이용해 블록 매트릭스 B를 구성하고, B의 top-d 고유벡터를 통해 각 Us를 추정한다. Us를 가장 가까운 직교 행렬로 투사해 공동 Transform Rs를 얻고, Z(s)shared = Z(s)Rs로 매핑한다.

4가지 핵심 실험 포인트를 제시한다. 1) Within-subject encoder 평가: full encoder의 평균 랭크 Mean Rank 5.28, R@1 0.82, RSA 0.53를 기록한다. S1–S8의 평균 성능은 전반적으로 안정적이다. 2) Pairwise brain-to-brain translation: 10 seeds로 구한 각 ordered pair의 Mean Rank 평균은 2.56 ± 1.71이며 Recall@1은 0.78 ± 0.14, RSA는 0.63이다. 3) Shared-space brain-to-brain translation: synchronization 후 Mean Rank 2.00 ± 0.76, Recall@1 0.83 ± 0.09, RSA 0.63로 개선된다. 4) Model–brain alignment와의 비교: Vision 모델과의 ridge regression 매핑에서 Mean Rank 5.86, Recall@1 0.51, RSA 0.57으로 나타났으며, semi-orthogonal 매핑의 경우 Mean Rank 5.54, Recall@1 0.48, RSA 0.73도 관찰된다. 이 결과들은 뇌 간 표현 기하의 near-isometric 성질과 공유 좌표계의 존재를 뒷받침한다.

A. 아키텍처: 각 피험 s에 대해 fs를 학습하여 X(s) → Z(s)를 얻고, Z(s)들은 다중 뷰 간 관계를 극대화하는 MCCA를 거쳐 d차원으로 투영된다. Y를 Z¯lin으로 변환하기 위한 Ridge 회귀를 수행한 뒤, Zlin에 MLP 기반 비선형 잔차 보정(gθ)으로 보완한다. B. 핵심 수학/알고리즘: Z(s)R_s→t = Procrustes에서 Rs→t ∈ O(d)를 찾고, iterative 업데이트와 SVD를 통해 R˜s→t를 O(d)에 투영한다. C. 차별점: 기존 Hyperalignment/Anchor 기반 정렬과 달리, 본 연구는 비paired cross-subject 샘플에서 파생된 공변 구조를 이용해 직교 변환으로 매핑한다는 점에서 차이를 가진다. D. 구현/학습 세부: dPCA = 768, embedding 차원 d = 128, MLP 은 1-숨겨층 768 유닛, α는 약 0.4로 수렴; LNCE 손실과 Lpull를 합친 목표를 Adam으로 2000 스텝 학습.

고품질의 반복 시 Stimulus를 필요로 하는 NSD 데이터에 의존한다. 낮은 SNR 모듈이나 작은 데이터셋에서 동일한 등거성의 일반화 여부는 불명확하다. 비지도 변환 초기화에 민감하며 seed를 여러 번 실행해야 한다. 반복적 자극이 필요한 제한으로 실용 적용의 확장성이 제한될 수 있으며, 뇌 데이터의 프라이버시 문제도 제기된다.