코드 생성에서의 자유로운 사고: Think Anywhere

기존의 추론 모델들은 코드를 짜기 전에 미리 모든 계획을 세우는 '선행 사고' 방식에 의존했으나, 실제 코딩은 구현 과정에서 예상치 못한 복잡성이 드러나는 경우가 많다. 이 논문은 개발자가 코딩 중간에 멈춰 생각하듯, LLM이 코드 생성 도중 어느 지점에서든 필요할 때만 추론을 수행하게 하여 복잡한 알고리즘 문제를 더 정확하고 효율적으로 해결한다.

기존의 Reasoning LLM은 코드를 작성하기 전 모든 계획을 마치는 'Upfront Thinking' 방식을 사용한다. 이는 Transformer 아키텍처에서 다음 토큰을 예측하기 전 충분한 연산을 제공하지만, 코드의 복잡성이 구현 중간에 드러나는 특성을 반영하지 못해 논리적 오류나 버그를 유발하기 쉽다.

THINK-ANYWHERE는 사람이 코딩할 때 막히는 부분에서 잠시 멈춰 생각하는 것과 유사하게 동작한다. 모델이 코드 생성 도중 특정 토큰 위치에서 스스로 블록을 열어 국소적인 복잡성을 해결하게 한다. 이는 전체 문맥을 다시 훑는 대신, 현재 직면한 논리적 병목 구간에만 계산 자원을 집중적으로 할당하는 원리다.

실험 결과, 모델은 불확실성이 높은 지점(High-entropy)에서 자발적으로 사고를 시작하는 경향을 보였다. 결과적으로 불필요한 전체 계획 단계의 길이를 줄이면서도, 정작 중요한 구현 단계에서의 정확도를 높여 전체적인 토큰 소모량은 줄이고 성능은 높이는 효과를 거두었다.

전체 프로세스는 선행 사고 블록(s)과 코드 세그먼트(c), 그리고 코드 사이사이에 삽입되는 인라인 사고 블록(h)의 혼합 시퀀스로 정의된다. 수식적으로는 각 단계가 이전의 모든 코드와 사고 내용을 조건부로 하여 생성되는 확률 모델로 표현된다.

전용 트리거 토큰인 (thinkanywhere)를 도입했다. 이 토큰의 임베딩은 'think', 'anywhere' 등의 의미적 벡터와 기존 구분자 토큰의 구조적 벡터를 0.5씩 혼합하여 초기화된다. [의미 벡터 + 구조 벡터 → 혼합 임베딩 → 모드 전환 신호] 과정을 통해 모델은 기존의 학습된 구분자 특성을 유지하면서도 '어디서든 생각하라'는 새로운 지시를 빠르게 이해한다.

학습은 GRPO(Group Relative Policy Optimization) 알고리즘을 사용한 RLVR 단계로 완성된다. 모델이 생성한 코드의 구조적 올바름과 테스트 케이스 통과 여부를 결합한 보상 함수를 사용한다. [출력물 생성 → 테스트 케이스 실행 → 통과 여부에 따른 보상 계산 → 정책 업데이트] 순으로 학습이 진행되어 모델이 스스로 '언제 생각하는 것이 정답률을 높이는지'를 터득하게 한다.

LeetCode, LiveCodeBench, HumanEval, MBPP 등 4개 주요 벤치마크에서 Qwen2.5-Coder-7B 기반 모델이 평균 70.3%의 점수를 기록하며 기존 선행 사고 방식(68.4%) 및 타 사후 학습 방법론(66.8%)을 능가했다. 특히 어려운 문제일수록 성능 향상 폭이 컸다.

추론 효율성 측면에서 THINK-ANYWHERE는 기존 방식 대비 전체 토큰 사용량을 유의미하게 줄였다. 선행 사고 단계의 길이를 대폭 단축하고, 대신 코드 중간에 필요한 만큼만 사고 토큰을 배치함으로써 전체적인 연산 비용을 최적화했다. LeetCode 기준 선행 사고 토큰은 440.7개에서 283.0개로 감소했다.

수학적 추론 벤치마크인 AIME 2024에서도 pass@1 기준 17.3%를 기록하여 베이스 모델(5.3%) 및 일반 GRPO(6.0%) 대비 압도적인 성능 향상을 보였다. 이는 코드 도메인에서 학습된 '온디맨드 사고' 능력이 일반적인 논리 추론 영역으로도 잘 전이됨을 시사한다.

아키텍처는 표준 Transformer 디코더를 유지하되, 추론 모드 전환을 위한 특수 토큰 쌍(, )을 추가했다. 이 토큰들은 모델이 텍스트 생성 모드와 추론 모드를 동적으로 오가는 게이트 역할을 수행한다.

콜드 스타트 데이터 구축을 위해 Gemini 2.5 Flash를 활용하여 사고 블록이 포함된 5,000개의 고품질 샘플을 합성했다. 이후 LoRA를 이용해 임베딩 레이어와 LM Head를 먼저 정렬한 뒤 전체 파라미터를 미세 조정하는 2단계 전략을 취했다.

강화학습 단계에서는 가치 모델(Value Model) 없이 그룹 통계로 베이스라인을 계산하는 GRPO를 채택하여 연산 오버헤드를 최소화했다. 보상 함수는 정규 표현식을 통한 구조 검사와 실제 코드 실행 결과를 0.1:0.9 비율로 가중 합산하여 설계되었다.

분석 결과, 모델은 주로 할당문(Assignment)이나 반환문(Return) 직전에서 사고 블록을 호출하는 패턴을 보였다. 이는 변수 계산의 복잡도가 높거나 최종 결과를 확정 짓기 전 검증이 필요한 시점을 모델이 스스로 식별하고 있음을 보여준다.

현재 연구는 코드 생성 도메인에 집중되어 있으며, 다른 일반적인 텍스트 생성 작업에서의 효과는 아직 광범위하게 검증되지 않았다. 또한, 모델이 '생각하지 말아야 할 때'를 학습하여 효율성을 극대화하는 부분은 향후 과제로 남아 있다.