LLM과 인간의 개념 범주화 비교 연구: 모델 크기에 따른 수렴 현상

실용적 조언

모델의 크기가 커질수록 표현이 수렴하므로 특정 제조사에 의존하기보다 필요한 성능에 맞는 모델 크기를 선택하는 것이 효율적이다
LLM의 엄격한 범주화 특성을 고려하여 인간의 유연한 연상이 필요한 작업에는 별도의 프롬프팅 전략이 필요하다

섹션별 상세

인간과 LLM의 개념 유사도 분석 결과 인간 간의 유사도는 약 0.8 수준인 반면 인간과 LLM 사이에는 뚜렷한 차이가 존재했다. LLM은 텍스트 데이터를 통해 학습된 특징을 기반으로 이진 분류를 수행하며 이는 인간이 경험적으로 인지하는 방식과는 다른 패턴을 보였다. 실험 결과 LLM 상호 간의 유사도는 평균 0.8 정도로 매우 높게 나타나 모델들끼리는 서로 유사한 세계관을 공유함이 확인됐다.

특정 제조사의 차이보다 모델의 크기가 유사도를 결정하는 핵심 요인임이 밝혀졌다. 모델이 거대해질수록 서로 다른 아키텍처나 학습 데이터셋을 가졌음에도 불구하고 개념을 표현하는 방식이 특정 지점으로 수렴하는 경향을 보였다. 이는 대규모 모델들이 세계의 논리적 구조를 유사하게 파악하게 된다는 플라톤적 표현 가설을 뒷받침하는 실증적 근거가 되며 모델 스케일링의 중요성을 강조한다.

LLM은 인간보다 훨씬 더 엄격하게 카테고리를 구분하는 특성을 보였다. 인간은 동물과 과일 사이의 연상 작용을 통해 중첩된 영역을 인정하는 반면 LLM은 각 범주를 독립적인 개체로 명확히 분리하여 처리했다. 이러한 특성은 고차원 공간에서 각 카테고리가 얼마나 조밀하게 군집화되는지를 나타내는 개념 압축 지표를 통해 확인되었으며 소형 모델에서 이러한 경향이 더 두드러졌다.

인지과학에서 매우 기초적인 구분인 생물과 무생물의 식별 능력에서 LLM이 인간을 능가하는 결과가 도출됐다. 모델의 크기와 상관없이 모든 LLM이 이 구분을 매우 정확하게 수행했으며 이는 신경망이 데이터의 근본적인 구조적 차이를 포착하는 데 탁월함을 시사한다. 인간의 뇌가 특정 영역에서 이를 처리하는 것과 달리 LLM은 전체적인 특징 벡터의 차이를 통해 이를 명확히 분리해내는 데 성공했다.

용어 해설

McRae 데이터셋(McRae Dataset): — 인간이 사물에 대해 부여하는 특징들을 정리한 데이터셋으로 인지과학 연구에서 널리 쓰인다. 본 실험에서는 200개 단어와 100개 특징을 매칭하여 LLM의 개념 구조가 인간의 상식 체계와 얼마나 일치하는지 측정하는 기준점으로 활용됐다.
플라톤적 표현 가설(Platonic Representation Hypothesis): — 서로 다른 인공지능 모델들이 규모가 커질수록 데이터의 근본적인 통계적 구조를 반영하여 하나의 공통된 표현 방식으로 수렴한다는 이론이다. 이는 모델의 성능 향상이 단순히 데이터 암기가 아니라 세계의 논리적 구조를 파악하는 과정임을 시사한다.
개념 압축(Concept Compression): — 고차원 임베딩 공간에서 동일한 범주에 속하는 항목들이 얼마나 가깝게 뭉쳐 있는지를 나타내는 척도이다. 소형 모델일수록 카테고리 내부의 항목들을 더 강하게 결합시키는 경향이 있으며 이는 모델의 추상화 및 일반화 메커니즘을 이해하는 데 중요하다.
이진 특징(Binary Feature): — 특정 속성의 존재 여부를 0 또는 1로 표시하는 데이터 표현 방식이다. 본 연구에서는 단어의 성격을 규정하기 위해 100개의 특징을 정의하고 LLM이 각 단어에 대해 해당 특징을 가졌는지 판단하게 함으로써 개념의 수치화를 가능하게 했다.