NeuroCogMap가 드러낸 대형 언어모델의 인지 조직

왜 중요한가

대형 언어모델 내부에서 나타나는 복합적 능력과 실패를 단순 출력이나 개별 뉴런 수준만으로는 설명하기 어려웠다. NeuroCogMap는 내부 표현을 기능적 소구조와 인지 능력 계층으로 재구성해 병리적 생성(예: 환각, 거부 실패)의 내부 신호를 식별하고 표적 개입 근거를 제공했다. 또한 이 구조는 인간 대뇌의 고차 연합 피질 활동 예측력을 개선해 모델 내부의 조직적 정보가 인간 인지와 비교 가능한 연구 축을 제공함이 확인됐다.

핵심 기여

기능적 소구조 기반 NeuroCogMap 프레임워크 제안

연구는 희소 오토인코더(SAE) 활성으로부터 문장 수준 샘플을 모아 특징을 클러스터링하고 레이어 분포 규제를 적용해 기능적 소구조를 도출했다. 후보 해상도들 가운데 통합 점수로 최적화한 결과 k=270에서 최고점(score=0.771)을 획득해 중간 규모의 안정적 분절화가 확인됐다. 이 소구조들은 내부적으로 의미론적 응집성을 보였으며 모델 간 부분적 재현성을 나타냈다.

병리 서명 탐지와 표적 개입을 위한 다수준 병리 분석

NeuroCogMap는 회로 연결성, 소구조 활성, 능력 동원 및 계층 수준에서 진실응답과 환각응답을 대비해 서로 다른 병리 경로를 규정했다. 환각 탐지에서 Gemma2-2B는 평균 AUROC 0.681을, Gemma2-9B-IT는 0.840을 보였고 거부 실패 탐지에서는 AUROC가 0.992/0.990 수준에 도달했다. 병리 지도를 바탕으로 과다·과소 활성 소구조를 증강·억제하는 조작이 사실 정확도를 유의미하게 향상시켰다.

인간 피질 응답 예측 및 기능적 정렬 증대

NeuroCogMap 소구조 활성으로 자연어 내러티브 중 인간 뇌 BOLD 반응을 예측한 결과 평균 상관 r=0.407로 기존의 어휘·임베딩·일반적 LLM 특성보다 높은 성능을 보였다. 개선은 좌·우측 고차 연합 피질, 특히 Default 및 전전두-통제 네트워크에서 두드러졌고 최상위 정렬 소구조는 해당 피질의 신경심리적 프로파일과 의미론적 유사성을 보였다. 따라서 소구조 수준의 조직은 인간-모델 대응 연구에서 유용한 설명 단위를 제공했다.

LLM 내부 신호 기반으로 고전적 인지모형 개선을 유도

두 단계 의사결정 과제에서 NeuroCogMap 활성은 피험자별 모델 적합도(AIC) 변이를 예측했고 내부 서명을 근거로 기존 Dual-systems Model에 누락된 동적 중재·결측 처리·정책 전환 요소를 추가했다. 확장된 모델은 두 독립 데이터셋에서 원모형과 행동기반 발견모형보다 낮은 AIC(예: 262.45, 465.95)를 기록해 외삽 성능이 개선됐다. 이 결과는 LLM 내부 조직이 행동만으로는 드러나지 않는 잠재 전략을 제공함을 의미했다.

핵심 아이디어 이해하기

이 연구는 Transformer 내부의 고차적 능력들이 무작위로 흩어진 상태가 아니라 응답 프로파일에 기반한 기능적 단위로 조직될 수 있다는 가설에서 출발했다. 고차적 인지는 다양한 문맥과 과제를 거치며 특정 SAE 잠재들이 반복적으로 동원되는 양상을 보였고, 이런 반복적 동원 패턴을 모아 클러스터링하면 의미론적 응집성을 갖는 소구조가 형성되는 것으로 나타났다. 이 관점은 개별 뉴런의 다의적 반응을 넘어 중간 규모의 해석 가능한 단위를 제공해 모델 내부 연산을 체계적으로 연결하는 장점을 낳았다.

방법론

연구는 네 단계 절차로 NeuroCogMap을 구성했다. 첫째, 2023–2025년 LLM 관련 논문 코퍼스와 평가 데이터셋에서 45개 능력 항목과 데이터 매핑을 선별해 능력 공간을 구축했다. 둘째, Gemma2-2B, Gemma2-9B-IT, Llama-3.1-8B에서 문장 수준의 SAE 활성(답안 스팬 기준)을 추출하고 특성 전처리로 비활성·저분산 특성을 제거했다. 셋째, 특성 선택 뒤 SVD로 차원 축소하고 레이어 분포 규제 항을 포함한 비용 함수로 k-할당 클러스터링을 수행해 후보 소구조 해상도를 탐색했으며 통합 점수(갭 통계, 기술 설명 품질, 중복도)를 통해 k=270을 선택했다. 넷째, 소구조별로 상위 활성 예시와 키워드를 이용해 자연어 기능 설명을 생성하고 데이터 기반 활성, 섭동(intervention) 효과, 의미적 일관성을 결합해 소구조-능력 연관을 확립했다.

주요 결과

첫째, 기능적 분절화 결과에서 k=270은 통합 점수 0.771로 최적해를 보였고 소구조 내부 상호 텍스트 의미 유사도는 평균 0.638, 소구조 간 유사도는 0.433으로 유의미한 응집성을 보였다. 둘째, 병리 분석에서는 TruthfulQA와 NQ-Open에서 서로 다른 환각 경로가 드러났다; TruthfulQA는 고차 평가 통제의 약화와 연관된 반면 NQ-Open은 사실 검색 체계의 조정 실패와 연관됐다. 이 병리 서명으로 구축한 탐지기는 환각 벤치마크에서 Gemma2-2B 평균 AUROC 0.681, Gemma2-9B-IT 0.840을 기록했고 거부 실패 탐지에서는 평균 AUROC가 0.992와 0.990으로 나타났다. 셋째, 인간 정렬 분석에서 NeuroCogMap 소구조 활성은 LeBel 스토리 청취 fMRI 데이터의 피질 반응을 평균 r=0.407로 예측했으며 개선은 고차 연합 네트워크에 편중되어 있었다. 넷째, 행동 모델 발견에서는 NeuroCogMap 기반 신호로 확장한 Dual-systems Model이 두 독립 두단계 과제에서 기존 모형보다 낮은 AIC를 기록해 보편적 외삽 능력이 향상되었다.

기술 상세

데이터 소스와 능력 공간 구성은 2023–2025년 주요 학회 논문 메타데이터에서 LLM 관련 레코드를 추출해 5,683편의 후보 문헌을 수집하고 능력·벤치마크 용어를 정규화해 수행됐다. 모델층별 SAE는 Gemma SAEs에서 레이어당 16,384 잠재, Llama SAEs에서 레이어당 32,768 잠재를 사용했고 답안 스팬 내 토큰을 문장 단위로 평균화해 문장-수준 활성 행렬을 만들었다. 특성 선별 기준으로는 비영(非零) 활성율 임계치(예: Gemma 0.03, Llama 0.01)와 분산 1e-6 초과 조건이 적용됐다.

한계점

연구는 주로 Gemma 계열과 Llama 3.1 기반 텍스트 전용 모델을 대상으로 수행되어 결과의 일반성은 더 큰 규모나 다른 아키텍처로 확장해야 확인될 필요가 있다. 멀티모달 모델에서는 시각·청각 입력의 인코딩 방식이 다양하므로 동일한 소구조 개념이 그대로 확장될지 불확실하다. 또한 소구조는 공간적 뇌 영역이 아니라 비공간적 잠재 집합이므로 인간-모델 대응은 기능적 정렬 수준에 국한되며 기계적 동일성을 의미하지 않는다.

실무 활용

NeuroCogMap은 모델 내부의 기능적 단위를 이용해 병리 탐지기와 표적 개입 정책을 설계할 수 있게 했다. 문장 수준 SAE 활성과 소구조 조작을 결합하면 환각·거부 실패 같은 실패 모드를 자동으로 감지하고 해당 소구조를 증강 또는 억제해 사실 정확도와 거부 정확도를 향상시킬 수 있다. 또한 소구조 기반 표현은 인간 뇌 응답 예측과 행동 모델 개선에 실무적으로 활용 가능한 외부 신호를 제공한다.

환각 탐지 파이프라인에서 NeuroCogMap 서명으로 응답을 스코어링해 의학·과학 질의에 대한 사실성 필터를 보완하는 용도
안전성 제어에서 거부 실패 우선 소구조를 억제하거나 거부 관련 제어 소구조를 증강해 거부 정책 효과를 높이는 운영적 조치
인지 과학 연구에서 LLM 기반 시뮬레이션의 내부 서명을 이용해 인간 인지 모델의 가설을 생성하고 기존 모형을 확장하는 연구 파이프라인
뇌-모델 정렬 연구에서 소구조 활성으로 피질 예측을 수행해 모델 선택·튜닝 기준으로 삼는 용도

코드 공개 여부: 미확인

키워드

NeuroCogMap(NeuroCogMap)functional parcel(기능 소구조)sparse autoencoder(SAE)(희소 오토인코더)representational similarity analysis(RSA)(표상 유사성 분석)structural connectome(구조적 연결망)hallucination detection(환각 탐지)

용어 해설

희소 오토인코더(Sparse Autoencoder (SAE)): — SAE는 residual-stream 벡터를 희소한 잠재 활성으로 압축하고 복원하는 인코더·디코더 구조이다. 본 연구에서는 개별 뉴런보다 중간 수준의 해석 가능성을 높이기 위해 SAE 잠재를 특징 공간으로 사용했고, 해당 잠재의 활성 패턴을 클러스터링해 기능적 소구조를 식별했다. SAE는 다층 변환기 내부의 다중 레이어에서 공통·분리된 기능 방향을 추출하는 데 중요했다.
기능적 분절화(Functional Parcellation): — 기능적 분절화는 모델 내부의 희소 특징들을 응답 프로파일 유사성에 따라 무공간적 집단으로 묶는 과정이다. 이 연구에서는 SAE 특징을 문장 수준 활성으로 집계한 뒤 클러스터링과 레이어 분포 규제를 적용해 270개의 안정적 소구조를 선택했다. 분절화는 이후의 기능 기술, 계층화 및 병리 분석의 조직적 단위를 제공한다.
구조적 연결망(Structural Connectome): — 구조적 연결망은 소구조 간의 전방향적 관계를 SAE의 디코더·인코더 방향 내적을 통해 추정한 행렬이다. 각 소구조의 잠재 간 전방 레이어 쌍을 평균화해 연결 강도를 계산했고, 기능적 결합 해석 시 구조적 제약으로 활용했다. 이 연결망은 기능적 결합이 단순 상관인지 구조적 영향인지 구별할 수 있게 했다.
소구조 조작(Parcel Steering): — 소구조 조작은 특정 소구조에 속한 SAE 디코더 방향을 잔류 스트림에 더하거나 빼서 활성화를 증강하거나 억제하는 기술이다. 본문에서는 양성 스케일 γ=0.5와 음성 스케일 γ=−1.0을 사용해 응답 로그확률 변화를 측정하고 인과적 기여를 검증했다. 이 방식은 병리 완화와 능력 연관성 검증에 활용되었다.
표상 유사성 분석(Representational Similarity Analysis (RSA)): — RSA는 서로 다른 단위(예: 인간 피질 소영역과 LLM 소구조)의 기능 기술 벡터 간 유사성 행렬을 비교하는 방법이다. 본 연구에서는 Neurosynth 기반 인간 용어 프로파일과 소구조 기능 설명의 코사인 유사성을 사용해 네트워크 내 표현 기하의 보존 여부를 측정했다. RSA는 인간-모델 정렬의 질적·구조적 측정을 제공했다.

NeuroCogMap가 드러낸 대형 언어모델의 인지 조직

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

소형 언어 모델의 표현 구조화 궤적

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

소형 언어 모델의 표현 구조화 궤적