LLM을 위한 Y-Combinator: λ-Calculus를 이용한 롱 컨텍스트 성능 저하 문제 해결

기존의 재귀적 언어 모델은 AI가 자유롭게 코드를 짜서 문제를 풀게 했으나, 이 과정에서 오류가 잦고 속도가 느린 한계가 있었다. 이 논문은 수학적 원리인 람다 대수를 도입해 AI의 행동을 정해진 규칙 안에 가둠으로써, 훨씬 더 정확하고 빠르게 수만 단어 이상의 긴 문서를 분석할 수 있는 길을 열었다.

Transformer 아키텍처는 모든 토큰 간의 관계를 계산하는 Self-Attention 특성상 입력이 길어질수록 연산량이 제곱으로 증가한다. 이로 인해 컨텍스트 윈도우를 넘어서는 긴 문서는 정보가 유실되거나 성능이 급격히 저하되는 'Context Rot' 문제가 발생한다. 기존의 재귀적 모델은 LLM이 직접 코드를 작성해 데이터를 처리하게 했으나, 생성된 코드의 오류나 무한 루프 가능성 때문에 실무 적용이 어려웠다.

λ-RLM은 이 문제를 해결하기 위해 람다 대수의 '함수 조합' 원리를 도입한다. 긴 문서를 작은 조각으로 나누고(SPLIT), 각 조각을 모델이 처리한 뒤(MAP), 그 결과들을 다시 합치는(REDUCE) 과정을 수학적으로 정의된 규칙에 따라 수행한다. 이는 모델이 직접 실행 흐름을 결정하게 하던 기존 방식의 불확실성을 제거하고, 검증된 연산자들만 사용하여 재귀적으로 문제를 해결하게 한다.

결과적으로 이 방식은 모델의 규모보다 '구조적 제어'가 더 중요할 수 있음을 보여준다. 8B 규모의 작은 모델도 λ-RLM 구조를 통하면 70B 이상의 대형 모델보다 더 정확하게 긴 문서를 분석할 수 있으며, 불필요한 코드 생성 단계를 생략하여 지연 시간을 최대 4.1배 단축하는 성과를 거두었다.

λ-RLM은 프롬프트를 외부 환경에 저장하고 모델이 이를 상징적으로 참조하게 하는 'Prompt-as-Environment' 패러다임을 채택한다. 전체 시스템은 작업 감지(Task Detection), 최적 계획 수립(Planning), 재귀 실행(Execution)의 5단계 페이즈로 구성되며, 모든 제어 흐름은 람다 대수의 고정점 조합자(fix)를 통해 구현된다.

핵심 실행 엔진인 Φ는 [현재 프롬프트 P와 분할 파라미터 k*, 임계값 τ를 입력으로 받아] → [|P|가 τ보다 작으면 모델 M을 직접 호출하고, 크면 SPLIT 연산으로 k개의 조각을 만든 뒤] → [각 조각에 대해 Φ를 재귀적으로 적용(MAP)하고 결과를 병합(REDUCE)하여] → [최종 결과값을 도출하는] 방식으로 동작한다. 수식적으로는 λ-RLM ≡ fix(λf.λP. if |P| ≤ τ then M(P) else REDUCE(⊕, MAP(λpi. f pi, SPLIT(P, k*))))로 정의된다.

조합자 라이브러리는 SPLIT(문자열 분할), PEEK(부분 추출), MAP(함수 적용), FILTER(조건 필터링), REDUCE(결과 병합) 등으로 구성된다. LLM은 오직 재귀의 말단(Leaf)에서만 호출되어 실제 추론을 수행하며, 상위 제어는 모두 결정론적(Deterministic)으로 이루어져 실행의 안전성을 보장한다.

9개의 베이스 모델과 4개의 롱 컨텍스트 추론 태스크에서 실험한 결과, λ-RLM은 36개 비교군 중 29개에서 기존 RLM을 압도했다. 특히 Qwen3-8B 모델은 λ-RLM 적용 시 Llama-3.3-70B의 일반 RLM 성능과 대등한 수준을 기록하며 '규모의 경제'를 구조적 설계로 극복할 수 있음을 입증했다.

지연 시간 측면에서는 모든 설정에서 기존 RLM보다 우수했으며, 평균 3.3배에서 4.1배의 속도 향상을 나타냈다. 이는 LLM이 매 단계 코드를 생성하고 파싱하는 오버헤드를 제거했기 때문이다. 또한 실행 결과의 분산이 낮아져 예측 가능한 성능을 제공한다.

OOL-Pairs와 같은 복잡한 태스크에서 정확도가 최대 28.6포인트 향상되었다. 이는 람다 대수 기반의 구조적 제어가 복잡한 논리적 연결을 처리하는 데 매우 효과적임을 보여주며, 특히 약한 모델(Weak Tier)에서 성능 향상 폭이 가장 크게 나타났다.

λ-RLM 아키텍처는 상징적 계층(Layer 1), 계획 계층(Layer 2), 신경망 계층(Layer 3)의 삼중 구조로 설계되었다. Layer 1은 람다 대수의 조합자 라이브러리를 통해 결정론적 제어 흐름을 제공하며, Layer 2는 입력 크기와 정확도 목표에 따라 최적의 재귀 깊이와 분할 전략을 결정한다.

수학적으로 λ-RLM은 N(n) = (k*)^d + 1번의 모델 호출을 보장하며, 여기서 d = ⌈log_k*(n/τ*)⌉이다. 이는 기존 RLM이 무한 루프에 빠질 수 있는 위험을 완전히 제거하며, 모든 연산이 유한한 시간 내에 종료됨을 보장하는 종료성 정리(Termination Theorem)의 근거가 된다.

정확도 분석 측면에서, λ-RLM의 최종 정확도는 A(τ*)^(nk*/τ*) * A_⊕^d 이상의 하한선을 가진다. 이는 입력 길이 n이 증가함에 따라 정확도가 다항식 수준으로 완만하게 감소(Power-law decay)함을 의미하며, 기존 모델들이 지수적으로 성능이 급락하던 문제를 구조적으로 해결했음을 보여준다.

최적 분할 크기 k*=2는 비용 함수 T(n)의 미분을 통해 도출되었다. 이는 이진 트리 형태의 재귀 구조가 전체적인 토큰 처리 비용과 조합 오버헤드 사이에서 가장 효율적인 균형을 이룸을 시사한다.

고정된 조합자 라이브러리가 모든 종류의 창의적인 추론 패턴을 포괄하지 못할 수 있다. 특히 CodeQA와 같이 자유로운 저장소 탐색과 비정형적인 접근이 필요한 경우, 강력한 모델의 자유로운 코드 생성이 더 유리할 수 있다는 점이 한계로 언급되었다.