패턴 매칭으로서의 추론: 인간과 LLM의 일상적 추론 메커니즘 비교

섹션별 상세

LLM의 추론 실패는 추상적 세계 모델이 아닌 패턴 매칭에 의존하기 때문이라는 견해가 존재한다.

연구진은 25개의 LLM과 인간 참가자를 대상으로 다양한 일상적 상식 추론 과제를 수행하여 결과를 비교했다.

인간과 LLM은 유사한 추론 과제에서 일관된 오류 패턴을 나타냈다.

근거

인간과 LLM은 유사한 추론 과제에서 일관된 오류 패턴을 나타냈다. — Abstract: We evaluate human participants and 25 LLMs on their ability to engage in common-sense reasoning ... and observe similar patterns of errors in both people and models. 출처

LLM의 특정 어텐션 헤드가 이러한 반응을 주도하며 패턴 매칭 엔진으로 작동함이 확인됐다.

해당 어텐션 헤드는 무관한 프롬프트 세부 정보로 인해 발생하는 인간의 추론 오류를 예측하며, 두 존재 간의 공유된 인지 메커니즘을 드러냈다.

패턴 매칭(Pattern Matching): — 데이터 내의 통계적 규칙성을 찾아내어 결과를 도출하는 방식. 논리적 추론이나 세계 모델 없이 입력과 출력 간의 상관관계를 학습하여 반응하는 메커니즘을 의미함.
어텐션 헤드(Attention Heads): — 트랜스포머 모델 내에서 입력 데이터의 특정 부분 간 관계를 계산하는 구성 요소. 이 연구에서는 특정 어텐션 헤드가 패턴 매칭을 수행하며 인간의 추론 오류를 예측하는 핵심 기제로 작용함을 밝힘.
상식 추론(Common-Sense Reasoning): — 인간이 일상생활에서 당연하게 받아들이는 지식을 바탕으로 상황을 이해하고 결론을 도출하는 능력. LLM의 일반화 성능과 추론 능력을 평가하는 주요 척도로 사용됨.