코드 생성에서의 Think Anywhere: 토큰 단위 온디맨드 추론 메커니즘

기존 추론 모델들은 답변 전 모든 생각을 끝내는 선행 추론 방식을 사용하지만, 코딩처럼 구현 과정에서 복잡성이 발생하는 작업에는 한계가 있다. 이 논문은 코드 작성 도중 어느 지점에서든 필요에 따라 추론을 호출할 수 있는 메커니즘을 제안하여 연산 효율과 정확도를 동시에 높였다.

왜 중요한가

핵심 기여

THINK-ANYWHERE 메커니즘 제안

코드 생성 과정 중 어느 토큰 위치에서든 온디맨드 방식으로 추론을 호출할 수 있는 새로운 패러다임을 제시함.

2단계 학습 파이프라인 구축

콜드 스타트 학습을 통해 추론 호출 패턴을 모방하게 한 뒤, RLVR을 통해 최적의 추론 시점을 자율적으로 탐색하도록 유도함.

전용 추론 트리거 토큰 설계

의미론적 정보를 포함한 특수 토큰 초기화 전략을 통해 모델이 인라인 추론을 명확하고 효율적으로 시작할 수 있게 함.

추론 효율성 및 성능 입증

4개의 주요 코드 벤치마크에서 SOTA를 달성했으며, 불필요한 선행 추론을 줄여 전체 토큰 사용량을 절감함.

핵심 아이디어 이해하기

기존의 o1이나 DeepSeek-R1 같은 모델은 문제를 풀기 전 별도의 생각 블록에서 모든 계획을 세운다. 하지만 코딩은 한 줄 한 줄 작성하면서 변수 범위나 인덱스 오류 같은 세부적인 복잡성이 드러나기 때문에 처음에 세운 계획만으로는 실제 구현 시 발생하는 버그를 막기 어렵다. THINK-ANYWHERE는 모델이 코드를 생성하다가 불확실성이 높은 지점을 만나면 스스로 멈추고 생각을 시작하게 만든다. 이는 마치 사람이 코딩하다가 막히는 부분에서 잠시 멈춰 로직을 다시 점검하는 것과 유사한 원리다. 이를 위해 모델에게 특수 토큰을 가르치고 강화학습을 통해 이 토큰을 언제 사용해야 최종 코드의 정답률이 높아지는지 스스로 깨닫게 한다. 결과적으로 쉬운 코드는 바로 생성하고 어려운 알고리즘 구간에서만 깊게 생각하여 연산 효율을 극대화한다.

방법론

전체 프로세스는 콜드 스타트와 강화학습 단계로 나뉜다. 콜드 스타트 단계에서는 약 5,000개의 고품질 데이터를 사용하여 모델이 코드 중간에 추론 블록을 삽입하는 기본 형식을 익히게 한다. 추론 트리거를 위해 전용 토큰을 도입하고 의미론적 인식 초기화 전략을 적용한다. [기존 'think', 'any' 등의 토큰 임베딩 평균값과 구조적 구분자 토큰의 임베딩을 0.5:0.5 비율로 혼합] → [새로운 특수 토큰의 초기 벡터 생성] → [모델이 기존에 배운 추론의 의미와 구분자의 역할을 동시에 이해하도록 유도]한다. 강화학습 단계에서는 GRPO 알고리즘을 사용한다. [하나의 문제에 대해 여러 개의 답변 후보군을 생성] → [각 답변의 정답 여부와 구조적 규칙 준수 여부를 보상으로 계산] → [그룹 내 상대적 우위를 바탕으로 가중치를 갱신]하여 별도의 가치 모델 없이도 효율적으로 학습한다. 보상 함수는 코드의 기능적 정확성과 THINK-ANYWHERE 형식을 지켰는지를 결합하여 구성한다.

주요 결과

LeetCode, LiveCodeBench, HumanEval, MBPP 등 4개 벤치마크에서 Qwen2.5-Coder-7B 기반으로 평균 70.3%의 점수를 기록하며 기존 SOTA 모델들을 압도했다. 특히 LeetCode에서는 기본 모델 대비 약 18.8%p의 성능 향상을 보였다. 효율성 측면에서 THINK-ANYWHERE는 기존 선행 추론 방식보다 적은 토큰을 사용한다. 선행 추론 단계의 길이를 대폭 줄이는 대신 필요한 지점에만 짧은 추론 블록을 배치함으로써 전체 토큰 비용을 HumanEval 기준 약 30% 이상 절감했다. 수학적 추론 벤치마크에서도 성능 향상을 확인하여 코드 생성뿐만 아니라 일반적인 논리 추론 영역에서도 이 메커니즘이 유효함을 입증했다.

기술 상세

모델 아키텍처는 Qwen2.5-Coder 시리즈를 백본으로 하며 LoRA를 이용한 효율적인 파인튜닝을 적용했다. 추론 과정은 초기 계획, 코드 세그먼트, 인라인 추론 블록이 혼합된 시퀀스 형태로 정형화된다. 특수 토큰 학습을 위해 1단계에서 입력 임베딩과 LM 헤드만 학습시켜 표현력을 확보하고, 2단계에서 LoRA 어댑터와 함께 공동 최적화를 수행하는 방식을 취한다. 엔트로피 분석 결과 모델은 실제로 다음 토큰 예측의 불확실성이 높은 지점에서 추론 블록을 호출하는 경향을 보였다. 구체적으로는 변수 할당이나 반환문 직전 등 논리적 결정이 중요한 구문에서 추론이 집중적으로 발생하며 이는 모델의 의사결정 과정에 대한 해석 가능성을 높여준다.

한계점

사후 학습 데이터의 한계로 인해 특수 토큰 변형이 의미론을 완전히 학습하는 데 제약이 있을 수 있으며, 대규모 사전 학습 단계에서 이러한 토큰을 통합하는 것이 잠재력을 더 끌어낼 수 있음이 언급됨.

실무 활용

복잡한 알고리즘 구현이나 대규모 코드 리팩터링 시 모델의 추론 과정을 투명하게 관찰하고 오류를 줄이는 데 즉시 활용 가능하다.

복잡한 알고리즘 문제 해결을 위한 지능형 코딩 어시스턴트
코드 생성 과정의 논리적 근거를 실시간으로 확인해야 하는 디버깅 도구
제한된 토큰 예산 내에서 최대의 추론 성능을 끌어내야 하는 API 서비스

코드 공개 여부: 공개

코드 저장소 보기

키워드

LLM(대형 언어 모델)Code Generation(코드 생성)On-demand Reasoning(온디맨드 추론)RLVR(검증 가능한 보상을 통한 강화학습)GRPO(그룹 상대 정책 최적화)

용어 해설

그룹 상대 정책 최적화(GRPO): — 강화학습에서 별도의 가치 모델(Value Model) 없이 생성된 답변 그룹 내의 상대적 점수를 비교하여 정책을 업데이트하는 기법이다. 연산 비용을 크게 줄이면서도 모델이 정답에 가까운 행동을 하도록 유도하는 데 효과적이다.
패스 앳 원(Pass@1): — 모델이 생성한 첫 번째 코드가 테스트 케이스를 모두 통과할 확률을 의미한다. 코드 생성 모델의 성능을 평가하는 가장 핵심적인 지표 중 하나다.
엔트로피(Entropy): — 정보 이론에서 다음 토큰이 얼마나 예측 불가능한지를 나타내는 척도다. 엔트로피가 높다는 것은 모델이 다음에 올 내용을 확신하지 못한다는 뜻이며, 이 논문에서는 이 지점이 추론이 필요한 시점으로 간주된다.

코드 생성에서의 Think Anywhere: 토큰 단위 온디맨드 추론 메커니즘

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드