Qwen3-Coder-Next 기술 보고서

800억 개의 파라미터를 가졌지만 추론 시에는 30억 개만 사용하는 효율적인 구조로 고성능 코딩 능력을 저비용으로 제공한다. 실제 실행 가능한 환경에서 학습하는 에이전트 중심 학습을 통해 복잡한 소프트웨어 엔지니어링 문제를 스스로 해결하는 능력을 극대화했다.

왜 중요한가

핵심 기여

에이전트 중심 학습 스택 구축

실행 가능한 환경과 검증 가능한 작업을 대규모로 합성하여 모델이 환경 피드백으로부터 직접 학습할 수 있는 파이프라인을 개발했다.

효율적인 MoE 아키텍처 적용

80B 전체 파라미터 중 3B만 활성화하는 Mixture-of-Experts 구조를 채택하여 추론 속도를 높이고 배포 비용을 낮췄다.

다양한 도구 호출 포맷 학습

21개의 서로 다른 도구 호출 템플릿을 학습에 활용하여 다양한 IDE 및 CLI 환경에 대한 범용적인 대응 능력을 확보했다.

전문가 지식 증류 기술

웹 개발, 사용자 경험, 소프트웨어 엔지니어링 등 각 분야에 특화된 전문가 모델들의 능력을 하나의 통합 모델로 응축했다.

핵심 아이디어 이해하기

기존 코딩 모델은 정적인 코드 데이터만 학습하여 실제 개발 환경에서 발생하는 다단계 상호작용이나 오류 복구 능력이 부족했다. Transformer 기반 모델은 텍스트 패턴은 잘 파악하지만 코드가 실제로 실행되었을 때의 결과인 피드백을 이해하지 못하는 한계가 존재했다.

Qwen3-Coder-Next는 실행 가능한 환경 자체를 학습 과정에 포함한다. 모델이 작성한 코드를 Docker 컨테이너에서 실제로 실행하고 그 결과인 성공, 실패, 에러 메시지를 보상으로 활용하는 강화학습(RL)을 수행한다. 이는 모델이 단순히 코드를 쓰는 것을 넘어 문제를 해결하는 에이전트로서 동작하게 만든다.

또한 Mixture-of-Experts(MoE) 기술을 통해 80B라는 거대 모델의 지식을 유지하면서도 실제 계산 시에는 관련 있는 3B 파라미터만 선택적으로 사용한다. 이를 통해 고성능 에이전트 기능을 로컬 환경에서도 빠르게 실행할 수 있는 효율성을 달성했다.

방법론

하이브리드 어텐션과 MoE 아키텍처를 기반으로 하며 80B 전체 파라미터 중 토큰당 3B만 활성화한다. 컨텍스트 길이는 최대 262,144 토큰까지 확장하여 대규모 코드베이스 처리를 지원한다. MoE 연산은 [입력 토큰 벡터 → 라우팅 네트워크 연산 → 상위 K개의 전문가 가중치 결정 → 특정 전문가들의 출력값만 합산하여 최종 표현 생성] 과정을 거쳐 효율적인 고성능 추론을 가능케 한다.

데이터 합성 단계에서는 GitHub PR을 분석해 버그 상태, 수정 사항, 테스트 패치를 추출하고 이를 Docker 기반의 실행 환경과 결합한다. 약 80만 개의 검증 가능한 소프트웨어 엔지니어링 작업 인스턴스를 생성하여 학습에 활용한다. 학습 파이프라인은 Continued Pretraining, Mid-training, SFT, RL의 다단계로 구성된다.

Mid-training에서는 Best-Fit Packing(BFP) 전략을 사용한다. [다양한 길이의 문서 집합 → Bin Packing 알고리즘 적용 → 최적의 문서 조합 구성 → 패딩 토큰 최소화 및 학습 효율 향상] 순서로 계산하여 긴 문맥 학습 시의 효율성을 높인다. 강화학습 단계에서는 보상 해킹(Reward Hacking)을 방지하기 위한 블로커를 도입하여 에이전트가 네트워크 도구를 이용해 정답을 미리 조회하는 등의 편법을 쓰지 못하도록 제어한다.

주요 결과

SWE-Bench Verified 벤치마크에서 Qwen3-Coder-Next는 70.6%에서 71.1%의 점수를 기록했다. 이는 훨씬 더 많은 연산량을 사용하는 DeepSeek-V3.2(70.2%)나 GLM-4.7(74.2%)과 대등한 성능이다. 특히 80B 모델임에도 3B의 활성 파라미터만으로 이러한 성과를 냈다는 점에서 효율성이 입증됐다.

Terminal-Bench 2.0 결과 XML 및 JSON 기반의 다양한 도구 호출 스키마에서 일관된 성능을 유지하며 실제 대화형 코딩 환경에 대한 강력한 적응력을 보였다. 강화학습(RL)을 통해 에이전트의 평균 상호작용 턴(Turn) 수가 50회에서 130회로 증가하며 장기적인 문제 해결 능력이 크게 향상되었음이 확인됐다.

수학 벤치마크인 AIME24와 AIME25에서도 각각 89.01%와 83.07%를 기록하며 기존 Qwen3-Next 모델 대비 큰 폭의 성능 향상을 보였다. 이는 코드 추론 능력이 수학적 추론 능력으로 전이될 수 있음을 시사한다.

기술 상세

모델은 Qwen3-Next 베이스를 바탕으로 하며 하이브리드 어텐션 메커니즘을 통해 연산 효율과 장거리 의존성 파악 능력을 동시에 확보했다. MoE 구조는 80B 파라미터 규모에서 추론 효율을 극대화하도록 설계되어 토큰당 계산량을 획기적으로 줄였다.

학습 데이터 구성 시 Best-Fit Packing(BFP)을 도입하여 문서 간 경계에서 발생하는 컨텍스트 환각(Hallucination)을 방지했다. 이는 특히 도구 정의가 처음에만 등장하는 다단계 에이전트 시나리오에서 모델의 포맷 준수 능력을 높이는 데 기여했다.

도구 호출(Tool Calling)의 일반화 능력을 위해 21종의 템플릿을 혼합 학습했다. 특정 출력 구조에 오버피팅되는 것을 막고 새로운 환경에서도 시스템 프롬프트의 지시사항을 정확히 따르는 Format-invariant 특성을 구현했다.

전문가 증류(Expert Distillation) 기법을 통해 WebDev, UX, RL 특화 모델들의 성능을 단일 모델로 통합했다. 이를 통해 도메인별 라우팅 없이도 다양한 코딩 작업에서 일관된 고성능을 유지하며 실무 배포에 최적화된 형태를 갖췄다.

한계점

최첨단 폐쇄형 모델과 비교했을 때 매우 복잡하고 대규모인 소프트웨어 엔지니어링 작업에서는 여전히 성능 격차가 존재한다. 또한 프론트엔드 및 UI 관련 작업에서 시각적 피드백을 직접 처리하는 능력이 부족하여 향후 멀티모달 기능 통합이 필요하다.

실무 활용

로컬 환경에서도 실행 가능한 가벼운 추론 비용으로 전문가 수준의 코딩 에이전트 기능을 제공한다. 다양한 IDE 및 도구 호출 형식을 지원하므로 기존 개발 워크플로우에 즉시 통합 가능하다.

자율형 소프트웨어 엔지니어링 에이전트(SWE-agent) 구축
복잡한 대규모 코드베이스의 버그 자동 수정 및 리팩터링
다양한 도구 호출이 필요한 대화형 코딩 어시스턴트 개발
웹 개발 및 UI 구성 자동화 도구

코드 공개 여부: 공개

코드 저장소 보기

키워드

LLM(대형 언어 모델)MoE(전문가 혼합)Coding Agent(코딩 에이전트)Reinforcement Learning(강화학습)SWE-Bench(소프트웨어 엔지니어링 벤치마크)

용어 해설

전문가 혼합(MoE): — 전체 파라미터 중 일부만 활성화하여 연산 효율을 높이는 구조다. 입력 데이터에 따라 가장 적합한 전문가 네트워크를 선택해 처리함으로써 거대 모델의 성능과 소형 모델의 속도를 동시에 달성한다.
에이전트 중심 학습(Agentic Training): — 모델이 단순히 텍스트를 생성하는 것을 넘어, 외부 도구를 사용하고 환경과 상호작용하며 문제를 해결하는 과정을 직접 학습하는 방식이다. 실행 결과에 따른 피드백을 학습 신호로 사용한다.
최적 맞춤 패킹(Best-Fit Packing): — 여러 문서를 하나의 학습 샘플로 합칠 때, 빈 공간을 최소화하면서 문서가 잘리지 않도록 배치하는 전략이다. 긴 문맥 학습 시 정보 손실과 환각 현상을 줄이는 데 중요하다.
중간 채우기(FIM): — 코드의 앞부분과 뒷부분이 주어졌을 때 중간에 들어갈 내용을 예측하도록 학습하는 기법이다. 실시간 코드 자동 완성이나 문서 편집 기능의 성능을 높이는 데 필수적이다.

Qwen3-Coder-Next 기술 보고서

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

코딩 에이전트의 정의와 성능 평가를 위한 벤치마크 연구 동향.

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

코딩 에이전트의 정의와 성능 평가를 위한 벤치마크 연구 동향.