재구성을 통한 이해: LLM 사전 학습을 위한 소프트웨어 개발 프로세스의 역공학

기존 LLM 학습에 사용되는 정적 코드 데이터는 결과물만 보여줄 뿐, 개발자가 코드를 작성하며 거치는 복잡한 사고 과정을 담지 못한다. 이 논문은 멀티 에이전트 시뮬레이션을 통해 코드의 생성 과정을 역으로 재구성함으로써, 모델이 코드의 '결과'뿐 아니라 '이유'와 '방법'을 학습하게 하여 복잡한 소프트웨어 엔지니어링 능력을 획기적으로 향상시킨다.

기존의 코드 사전 학습은 대규모 코드 저장소의 최종 상태(Static Code)를 다음 토큰 예측(Next-token Prediction) 방식으로 학습한다. 이는 마치 수학 문제의 풀이 과정 없이 정답만 외우게 하는 것과 같아서, 모델이 코드의 표면적인 패턴은 잘 흉내 내지만 복잡한 시스템 설계나 장기적인 논리 추론에는 한계를 보였다. 이 논문은 '재구성을 통한 이해'라는 원리를 도입하여 완성된 코드 저장소로부터 그 코드가 만들어지기까지의 '보이지 않는 사고 과정'을 역으로 추적한다. 구체적으로는 프로젝트의 요구사항 분석, 파일 간 의존성 파악, 함수 정의, 그리고 실제 구현에 이르는 에이전트의 행동 궤적을 생성하여 학습 데이터로 활용했다. 특히 사고 과정의 논리적 엄밀함을 확보하기 위해 탐색 기반 최적화를 사용했다. 생성된 사고 과정이 실제 정답 코드를 얼마나 잘 설명하는지를 확률적으로 계산하고, 더 높은 확률을 보장하는 사고 단계로 교체함으로써 모델이 단순한 텍스트 생성을 넘어 실제 개발자의 논리적 흐름을 내재화하도록 유도했다.

멀티 에이전트 궤적 큐레이션(Multi-Agent Trajectory Curation) 단계를 통해 정적 저장소를 동적 데이터로 변환했다. 메인 에이전트는 전체 저장소의 구조를 파악하여 구현 계획을 세우고, 서브 에이전트는 개별 파일의 클래스와 함수를 구현했다. 이 과정에서 실제 저장소의 파일 계층 구조와 의존성 그래프 정보를 주입하여 시뮬레이션이 실제 코드와 괴리되지 않도록 고정(Grounding)했다. 사고 과정 최적화(LongCoT Optimization)를 위해 탐색 알고리즘을 도입했다. 초기 생성된 사고 과정 z가 정답 코드 x를 생성할 조건부 로그 확률 log p(x|z)를 최대화하는 것을 목표로 했다. 사고 단계를 z1, ..., zn으로 분해한 뒤, 각 단계마다 여러 후보군을 샘플링하고 정답 코드의 Perplexity(PPL)를 가장 낮추는 후보로 영구 업데이트하는 과정을 3회 반복했다. 최종적으로 합성된 에이전트 궤적을 하나의 연속된 문서로 평탄화(Trajectory Flattening)하여 사전 학습에 사용했다. 이때 모델이 도구 응답(Observations)을 단순히 암기하는 것을 방지하기 위해, 사고(Think)와 행동(Action) 토큰에 대해서만 손실(Loss)을 계산하는 타겟 손실 마스킹(Targeted Loss Masking) 기법을 적용하여 인과적 논리 학습에 집중하게 했다.

긴 문맥 이해 성능 평가인 Ruler와 Helmet 벤치마크에서 Llama-3-8B 모델은 기존의 평탄화된 코드 학습 방식(Raw-Repo)보다 일관되게 높은 점수를 기록했다. 특히 64k 문맥 윈도우에서 Ruler 평균 점수 61.80을 기록하며, 정적 코드 학습(61.00) 및 외부 베이스라인인 Prolong(57.10)을 상회하는 견고함을 보였다. 코딩 및 일반 추론 능력에서도 유의미한 향상이 확인됐다. HumanEval에서 37.20점을 기록하여 Raw-Repo(34.76) 대비 높은 성능을 보였으며, LongCodeBench-32k에서도 36.46점으로 우위를 점했다. 이는 코드 생성 '과정'을 학습하는 것이 단순 암기보다 복잡한 작업 수행에 더 효과적임을 시사한다. 에이전트 능력을 측정하는 APTBench 결과, 기획 중심의 Issue-Fix 카테고리에서 34.84%의 정확도를 기록하며 정적 데이터 학습(33.72%)보다 우수한 성과를 거뒀다. 또한 사고 과정 최적화(Search)를 거친 모델이 환경 설정(Env-Setup) 등 세밀한 구현과 디버깅 논리가 필요한 작업에서 더 높은 정밀도를 보였다.

본 연구는 정적 데이터의 정보 밀도를 높이기 위해 '역공학(Reverse-engineering)' 개념을 사전 학습 데이터 엔지니어링에 도입했다. 300k개의 GitHub 저장소를 필터링하여 40억 개의 토큰으로 구성된 합성 에이전트 궤적 데이터셋을 구축했다. 아키텍처 측면에서는 메인 에이전트와 서브 에이전트 간의 계층적 상호작용을 설계했다. 메인 에이전트는 프로젝트 요구사항 생성 및 구현 순서 결정을 담당하며, 서브 에이전트는 추상 구문 트리(AST) 분석 정보를 바탕으로 클래스와 함수 정의를 시뮬레이션한다. 사고 과정 최적화의 핵심은 조건부 확률 극대화 수식을 통해 사고 단계가 정답 코드의 생성 확률을 높이도록 유도하는 것이다. 이는 학습의 불안정성을 피하기 위해 추론 시점의 탐색(Inference-time search) 전략을 선택하여 사고 단계를 반복적으로 정제했다. 학습 과정에서는 Llama-3-8B-Instruct를 베이스로 200억 개의 토큰을 추가 학습시켰으며, 64k의 긴 문맥 윈도우를 유지했다. 데이터 혼합 비율은 일반 도메인 70%, 저장소 관련 데이터 30%로 구성하여 범용 추론 능력을 유지하면서 전문 코딩 능력을 강화했다.

합성된 궤적에 LLM의 잠재적인 환각(Hallucination)과 에이전트 워크플로에서 발생하는 노이즈 및 편향이 포함될 수 있음을 명시했다. 또한 사고 과정 최적화 과정에서 계산 비용이 발생하며, 정답 코드의 Perplexity에 의존하는 방식이 모든 도메인에서 최적의 사고 과정을 보장하지 않을 수 있다.