코드 생성에서의 Think Anywhere: 토큰 단위 온디맨드 추론 메커니즘

기존 추론 모델들은 답변 전 모든 생각을 끝내는 선행 추론 방식을 사용하지만, 코딩처럼 구현 과정에서 복잡성이 발생하는 작업에는 한계가 있다. 이 논문은 코드 작성 도중 어느 지점에서든 필요에 따라 추론을 호출할 수 있는 메커니즘을 제안하여 연산 효율과 정확도를 동시에 높였다.

기존의 o1이나 DeepSeek-R1 같은 모델은 문제를 풀기 전 별도의 생각 블록에서 모든 계획을 세운다. 하지만 코딩은 한 줄 한 줄 작성하면서 변수 범위나 인덱스 오류 같은 세부적인 복잡성이 드러나기 때문에 처음에 세운 계획만으로는 실제 구현 시 발생하는 버그를 막기 어렵다. THINK-ANYWHERE는 모델이 코드를 생성하다가 불확실성이 높은 지점을 만나면 스스로 멈추고 생각을 시작하게 만든다. 이는 마치 사람이 코딩하다가 막히는 부분에서 잠시 멈춰 로직을 다시 점검하는 것과 유사한 원리다. 이를 위해 모델에게 특수 토큰을 가르치고 강화학습을 통해 이 토큰을 언제 사용해야 최종 코드의 정답률이 높아지는지 스스로 깨닫게 한다. 결과적으로 쉬운 코드는 바로 생성하고 어려운 알고리즘 구간에서만 깊게 생각하여 연산 효율을 극대화한다.

전체 프로세스는 콜드 스타트와 강화학습 단계로 나뉜다. 콜드 스타트 단계에서는 약 5,000개의 고품질 데이터를 사용하여 모델이 코드 중간에 추론 블록을 삽입하는 기본 형식을 익히게 한다. 추론 트리거를 위해 전용 토큰을 도입하고 의미론적 인식 초기화 전략을 적용한다. [기존 'think', 'any' 등의 토큰 임베딩 평균값과 구조적 구분자 토큰의 임베딩을 0.5:0.5 비율로 혼합] → [새로운 특수 토큰의 초기 벡터 생성] → [모델이 기존에 배운 추론의 의미와 구분자의 역할을 동시에 이해하도록 유도]한다. 강화학습 단계에서는 GRPO 알고리즘을 사용한다. [하나의 문제에 대해 여러 개의 답변 후보군을 생성] → [각 답변의 정답 여부와 구조적 규칙 준수 여부를 보상으로 계산] → [그룹 내 상대적 우위를 바탕으로 가중치를 갱신]하여 별도의 가치 모델 없이도 효율적으로 학습한다. 보상 함수는 코드의 기능적 정확성과 THINK-ANYWHERE 형식을 지켰는지를 결합하여 구성한다.

LeetCode, LiveCodeBench, HumanEval, MBPP 등 4개 벤치마크에서 Qwen2.5-Coder-7B 기반으로 평균 70.3%의 점수를 기록하며 기존 SOTA 모델들을 압도했다. 특히 LeetCode에서는 기본 모델 대비 약 18.8%p의 성능 향상을 보였다. 효율성 측면에서 THINK-ANYWHERE는 기존 선행 추론 방식보다 적은 토큰을 사용한다. 선행 추론 단계의 길이를 대폭 줄이는 대신 필요한 지점에만 짧은 추론 블록을 배치함으로써 전체 토큰 비용을 HumanEval 기준 약 30% 이상 절감했다. 수학적 추론 벤치마크에서도 성능 향상을 확인하여 코드 생성뿐만 아니라 일반적인 논리 추론 영역에서도 이 메커니즘이 유효함을 입증했다.

모델 아키텍처는 Qwen2.5-Coder 시리즈를 백본으로 하며 LoRA를 이용한 효율적인 파인튜닝을 적용했다. 추론 과정은 초기 계획, 코드 세그먼트, 인라인 추론 블록이 혼합된 시퀀스 형태로 정형화된다. 특수 토큰 학습을 위해 1단계에서 입력 임베딩과 LM 헤드만 학습시켜 표현력을 확보하고, 2단계에서 LoRA 어댑터와 함께 공동 최적화를 수행하는 방식을 취한다. 엔트로피 분석 결과 모델은 실제로 다음 토큰 예측의 불확실성이 높은 지점에서 추론 블록을 호출하는 경향을 보였다. 구체적으로는 변수 할당이나 반환문 직전 등 논리적 결정이 중요한 구문에서 추론이 집중적으로 발생하며 이는 모델의 의사결정 과정에 대한 해석 가능성을 높여준다.

사후 학습 데이터의 한계로 인해 특수 토큰 변형이 의미론을 완전히 학습하는 데 제약이 있을 수 있으며, 대규모 사전 학습 단계에서 이러한 토큰을 통합하는 것이 잠재력을 더 끌어낼 수 있음이 언급됨.