Codetrace-Bench: DeepSeek-R1-7B와 Qwen-7B의 중첩 함수 호출 추적 능력 비교

커뮤니티 반응

대체로 흥미롭다는 반응이며, Llama나 Mistral 등 다른 모델에 대한 테스트 결과도 기대하고 있습니다.

합의점 vs 논쟁점

합의점

LLM의 추론 능력에는 특정 깊이에서 발생하는 임계점이 존재한다.
강화학습 증류가 모델의 논리적 추적 능력을 향상시키는 데 효과적이다.

논쟁점

단계별 프롬프팅(CoT)이 고난도 작업에서 오히려 성능을 저하시키는 현상에 대한 해석.

실용적 조언

복잡한 논리 체인을 가진 작업에서는 무조건적인 CoT보다 오류 검증 단계가 포함된 워크플로우가 필요하다.

섹션별 상세

중첩 함수 호출 추적 능력 측정: 무의미한 함수 이름과 단순 산술 연산을 사용하여 모델의 순수 추적 능력을 평가했다. 1~20단계의 중첩 깊이를 가진 400개의 질문으로 구성된 Codetrace-Bench를 통해 패턴 매칭이나 산술 병목 현상을 배제하고 모델이 체인을 따라가는 능력만 검증했다. 이는 모델의 논리적 추론 한계를 명확히 파악하기 위한 시도이며, 실험 결과 모델들은 점진적인 성능 저하 대신 특정 깊이에서 갑자기 실패하는 임계점 현상을 보였다.

python

def tesi(x): return x - 4
def vowu(x): return tesi(x + 9)
def tawo(x): return vowu(x + 10)
print(tawo(8))

Codetrace-Bench에서 사용하는 중첩 함수 호출의 예시 구조

성능 저하의 특이점 발견: 동일한 Qwen-7B 아키텍처를 기반으로 함에도 불구하고 DeepSeek-R1-Distill 모델이 기본 Qwen 모델보다 약 4단계 더 깊은 추적이 가능함을 확인했다. 구체적으로 Qwen2.5-7B-Instruct는 깊이 4에서, DeepSeek-R1은 단계별 프롬프팅 시 깊이 8까지 성공적인 추적을 수행한 뒤 급격한 성능 하락을 겪었다. 이는 강화학습 증류 과정이 모델의 논리적 체인 유지 능력을 실질적으로 향상시켰음을 입증하는 수치적 근거이다.

단계별 프롬프팅의 양면성: '각 호출을 추적한 뒤 답을 내라'는 지시가 중간 깊이에서는 성능을 40% 향상시켰으나, 깊이 8 이상의 고난도에서는 오히려 성능을 15% 떨어뜨리는 결과가 나타났다. 추적 과정이 길어질수록 단 한 번의 계산 실수가 이후 모든 단계에 영향을 미치는 에러 캐스케이딩(Error Cascading) 현상이 발생하기 때문이다. 이는 복잡한 논리 구조에서 강제적인 추론 과정 노출이 반드시 정답률 향상으로 이어지지 않으며 오히려 독이 될 수 있음을 시사한다.

용어 해설

중첩 함수 호출(Nested Function Calls): — 하나의 함수 내부에서 다른 함수를 호출하는 구조로, LLM이 문맥을 잃지 않고 실행 흐름을 끝까지 추적해야 하는 논리적 과제이다. 이 과정에서 모델은 각 함수의 반환값을 다음 함수의 입력으로 정확히 전달해야 한다.
강화학습 증류(RL Distillation): — 대형 모델의 추론 능력을 소형 모델에 전이하기 위해 강화학습 기법을 사용하는 학습 방식이다. 본문에서는 DeepSeek-R1이 동일 아키텍처의 Qwen보다 더 깊은 논리 체인을 유지할 수 있게 된 핵심 원인으로 지목됐다.
오류 연쇄(Error Cascading): — 단계별 추론 과정 중 초기 단계에서 발생한 작은 실수가 후속 단계의 모든 계산에 영향을 주어 최종적으로 큰 오답을 만드는 현상이다. 추론 단계가 길어질수록 단일 오류의 치명성이 기하급수적으로 증가하는 특성을 가진다.

언급된 리소스

문서Codetrace-Benchmark (HuggingFace)