LLM의 구성적 추론 한계: 규모의 문제인가 기하학적 구조의 문제인가?

작성자가 직접 연구 결과를 공유하며 피드백을 요청한 상태로, 기계적 해석 가능성과 기하학적 딥러닝 전문가들 사이에서 아키텍처적 한계론에 대한 논의가 예상된다.

• 복잡한 논리 구조를 다루는 모델 설계 시 RoPE와 같이 기하학적 안정성을 제공하는 구성 요소를 우선적으로 고려할 것
• 모델의 추론 능력을 평가할 때 단순 벤치마크 외에 모듈러 산술과 같은 구성적 과제를 활용하여 아키텍처의 한계를 테스트할 것

Compositional Reasoning

— 복잡한 문제를 더 작고 단순한 구성 요소로 분해하고 이를 결합하여 해결하는 능력이다. LLM이 개별 개념은 이해하더라도 이를 논리적으로 연결하여 복잡한 결론을 도출하는 과정에서 한계를 보이는 핵심 영역이다.

RoPE

— Rotary Positional Embedding의 약자로, 토큰의 위치 정보를 회전 행렬을 통해 인코딩하는 기법이다. 상대적 위치 관계를 기하학적으로 보존하여 모델이 긴 문맥이나 복잡한 구조를 더 잘 파악하게 돕는다.

Mechanistic Interpretability

— 신경망의 내부 작동 원리를 개별 뉴런이나 회로 수준에서 역공학하여 이해하려는 연구 분야이다. 모델이 특정 출력을 내는 논리적 과정을 기하학적 또는 알고리즘적으로 분석하는 데 중점을 둔다.

Toroidal Representation

— 데이터를 도넛 모양의 3차원 곡면인 토러스(Torus) 구조로 매핑하여 표현하는 방식이다. 주기성을 가지거나 순환하는 관계를 가진 데이터를 기하학적으로 안정적으로 학습하는 데 유리하다.