NeuroCogMap가 드러낸 대형 언어모델의 인지 조직

대형 언어모델 내부에서 나타나는 복합적 능력과 실패를 단순 출력이나 개별 뉴런 수준만으로는 설명하기 어려웠다. NeuroCogMap는 내부 표현을 기능적 소구조와 인지 능력 계층으로 재구성해 병리적 생성(예: 환각, 거부 실패)의 내부 신호를 식별하고 표적 개입 근거를 제공했다. 또한 이 구조는 인간 대뇌의 고차 연합 피질 활동 예측력을 개선해 모델 내부의 조직적 정보가 인간 인지와 비교 가능한 연구 축을 제공함이 확인됐다.

이 연구는 Transformer 내부의 고차적 능력들이 무작위로 흩어진 상태가 아니라 응답 프로파일에 기반한 기능적 단위로 조직될 수 있다는 가설에서 출발했다. 고차적 인지는 다양한 문맥과 과제를 거치며 특정 SAE 잠재들이 반복적으로 동원되는 양상을 보였고, 이런 반복적 동원 패턴을 모아 클러스터링하면 의미론적 응집성을 갖는 소구조가 형성되는 것으로 나타났다. 이 관점은 개별 뉴런의 다의적 반응을 넘어 중간 규모의 해석 가능한 단위를 제공해 모델 내부 연산을 체계적으로 연결하는 장점을 낳았다.

연구는 네 단계 절차로 NeuroCogMap을 구성했다. 첫째, 2023–2025년 LLM 관련 논문 코퍼스와 평가 데이터셋에서 45개 능력 항목과 데이터 매핑을 선별해 능력 공간을 구축했다. 둘째, Gemma2-2B, Gemma2-9B-IT, Llama-3.1-8B에서 문장 수준의 SAE 활성(답안 스팬 기준)을 추출하고 특성 전처리로 비활성·저분산 특성을 제거했다. 셋째, 특성 선택 뒤 SVD로 차원 축소하고 레이어 분포 규제 항을 포함한 비용 함수로 k-할당 클러스터링을 수행해 후보 소구조 해상도를 탐색했으며 통합 점수(갭 통계, 기술 설명 품질, 중복도)를 통해 k=270을 선택했다. 넷째, 소구조별로 상위 활성 예시와 키워드를 이용해 자연어 기능 설명을 생성하고 데이터 기반 활성, 섭동(intervention) 효과, 의미적 일관성을 결합해 소구조-능력 연관을 확립했다.

첫째, 기능적 분절화 결과에서 k=270은 통합 점수 0.771로 최적해를 보였고 소구조 내부 상호 텍스트 의미 유사도는 평균 0.638, 소구조 간 유사도는 0.433으로 유의미한 응집성을 보였다. 둘째, 병리 분석에서는 TruthfulQA와 NQ-Open에서 서로 다른 환각 경로가 드러났다; TruthfulQA는 고차 평가 통제의 약화와 연관된 반면 NQ-Open은 사실 검색 체계의 조정 실패와 연관됐다. 이 병리 서명으로 구축한 탐지기는 환각 벤치마크에서 Gemma2-2B 평균 AUROC 0.681, Gemma2-9B-IT 0.840을 기록했고 거부 실패 탐지에서는 평균 AUROC가 0.992와 0.990으로 나타났다. 셋째, 인간 정렬 분석에서 NeuroCogMap 소구조 활성은 LeBel 스토리 청취 fMRI 데이터의 피질 반응을 평균 r=0.407로 예측했으며 개선은 고차 연합 네트워크에 편중되어 있었다. 넷째, 행동 모델 발견에서는 NeuroCogMap 기반 신호로 확장한 Dual-systems Model이 두 독립 두단계 과제에서 기존 모형보다 낮은 AIC를 기록해 보편적 외삽 능력이 향상되었다.

데이터 소스와 능력 공간 구성은 2023–2025년 주요 학회 논문 메타데이터에서 LLM 관련 레코드를 추출해 5,683편의 후보 문헌을 수집하고 능력·벤치마크 용어를 정규화해 수행됐다. 모델층별 SAE는 Gemma SAEs에서 레이어당 16,384 잠재, Llama SAEs에서 레이어당 32,768 잠재를 사용했고 답안 스팬 내 토큰을 문장 단위로 평균화해 문장-수준 활성 행렬을 만들었다. 특성 선별 기준으로는 비영(非零) 활성율 임계치(예: Gemma 0.03, Llama 0.01)와 분산 1e-6 초과 조건이 적용됐다.

연구는 주로 Gemma 계열과 Llama 3.1 기반 텍스트 전용 모델을 대상으로 수행되어 결과의 일반성은 더 큰 규모나 다른 아키텍처로 확장해야 확인될 필요가 있다. 멀티모달 모델에서는 시각·청각 입력의 인코딩 방식이 다양하므로 동일한 소구조 개념이 그대로 확장될지 불확실하다. 또한 소구조는 공간적 뇌 영역이 아니라 비공간적 잠재 집합이므로 인간-모델 대응은 기능적 정렬 수준에 국한되며 기계적 동일성을 의미하지 않는다.