TL;DR

Qwopus3.6-27B-Fusion은 Qwen/Qwen3.6-27B를 기반으로 한 두 파인튜닝(v2: reasoning, Coder: code)의 델타를 층별 α 램프로 가중 주입한 병합 모델이며 Q4_K_M GGUF로 양자화되어 24–32GB GPU에서 llama.cpp로 운용 가능하다. 구현은 V2의 임베딩·헤드·정규화 파라미터를 고정하고 각 레이어에 α(L)·(Coder−V2)를 더하는 방식으로, 초기 레이어의 추론 표현을 보호하면서 후반 레이어에서 코딩 능력을 보강한다. 벤치마크(HumanEval 94.5%, MBPP 87.9%, GSM8K 95.0%)와 온도·시드 안정성 검증 결과를 통해 에이전트형 코드 작성·자가수정 워크플로우에 적합하나 광범위한 안전·RLHF 평가는 아직 이루어지지 않았다.

핵심 역량

• 추론(멀티스텝 reasoning)과 코드 생성 및 자체 디버깅을 단일 27B 모델에서 수행할 수 있다.
• Q4_K_M GGUF 포맷으로 양자화되어 24–32GB GPU 환경(llama.cpp)에서 단일 스트림으로 운용 가능하다.
• 긴 컨텍스트(네이티브 262,144 토큰, 검증 60K)와 온디멘드 thinking(Reasoning on) 모드를 지원한다.

강점

• 코딩과 추론 능력을 하나의 27B 모델에서 균형 있게 유지하도록 설계되어, 단일 에이전트가 계획·작성·디버깅까지 자체적으로 처리하는 워크플로우에서 강점을 보인다. 실제 데모에서 모델이 Playwright 오류 리포트를 받아 원인 규명과 수정까지 수행한 사례가 제시되어 있다. 이 때문에 툴체인과의 폐쇄 루프 통합용 백엔드로 유용하다.
• 코드 생성 관련 벤치마크에서 높은 성능을 보이며 HumanEval 94.5%, MBPP 87.9%를 달성했다. 수치상으로는 코드 생성 정확도와 실행 안정성이 크게 개선된 편이며 낮은 시드 분산(std 0.0 등)으로 결과 재현성도 확보되었다. MATH-500과 같은 수리 난이도 벤치마크에서도 중상위 성능을 유지한다.
• 온도 안정성 및 긴 컨텍스트 처리에서 우수한 특성을 드러낸다. temp 0.2 및 0.9에서 termination 클린 결과를 보였고 long-context(최대 60K 검증)에 대해 루핑 없이 동작이 검증되었다. 이 점은 에이전트형 작업에서 긴 히스토리를 다룰 때 실용적 이점을 제공한다.

훈련 방식

두 개의 부모 파인튜닝(V2: reasoning, Coder: code)에서 각 레이어별 델타를 직접 조작하는 병합 기법을 사용했다. 병합은 V2를 앵커로 고정하고 모든 레이어에서 α(L)·(Coder−V2)를 더하는 형태로 구현되며, 임베딩·헤드·norm 계열은 V2에서 복사해 델타 중복을 피한다. 병합 후 bfloat16으로 변환하고 GGUF로 저장한 뒤 llama.cpp 툴체인으로 Q4_K_M 양자화를 수행해 배포 가능한 GGUF 아티팩트를 생성했다.

알아두면 좋은 것

• 레이어별 α 램프(0.12→0.48)를 이용해 Qwopus3.6-27B-v2의 추론 표현을 보호하면서 Qwopus3.6-27B-Coder의 코딩 델타를 후반부에 주입하는 기하학 기반 병합 전략을 사용한다. 이 방식은 부모 간 델타의 반정렬(early-layer anti-alignment) 문제를 억제하고 합성된 모델의 안정성을 확보한다. 임베딩·lm_head·norm·MTP 등 핵심 텐서는 V2에서 그대로 복사되어 델타 이중 카운트를 피한다.
• 병합 결과를 bfloat16으로 변환한 뒤 GGUF로 저장하고 Q4_K_M으로 양자화해 약 16.5GB 크기의 모델을 생성했다. 이 포맷은 llama.cpp에서 단일 24–32GB GPU로 운용할 수 있어 실제 서비스·개발 환경에서 빠르게 검증 가능하다. 양자화 과정과 병합 스크립트는 레포지토리의 merge_layerweighted.py와 변환 명령으로 재현할 수 있다.
• 에이전트형 코드 작성 루프(build→run→self-fix)에서 강점을 보이며, ORBITAL·FLUX 같은 단일 파일 앱을 스스로 작성하고 Playwright 검증 피드백을 받아 버그를 찾아 수정하는 사례가 제시되어 있다. HumanEval 94.5%, MBPP 87.9%, GSM8K 95.0% 등 코드·추론 벤치마크에서 높은 점수를 기록했고 온도와 시드 안정성도 검증되었다. 다만 아직 광범위한 안전·RLHF 평가나 레드테이밍은 수행되지 않았다.
• 온도 민감성 측면에서 부모 파인튜닝의 low-temp 불안정을 병합으로 완화한 점이 특징이다. 본 모델은 temp 0.2와 0.9 양쪽 모두에서 termination 클린 테스트를 통과했고 temp 0.5–0.9 구간에서 일관된 안정성을 보였다. 운영 권장은 temperature 0.85–1.0이며 필요하면 낮은 온도로도 더 결정론적으로 운용할 수 있다.

기술적 특징

• 레이어별 α 램프(0.12에서 0.48까지 선형 증가)를 델타 주입 계수로 사용해 early-layer의 반정렬(anti-alignment) 문제를 억제하고 late-layer에서 코더의 유용한 델타를 강화한다. 이 램프는 델타 기하학(프로젝션 값)이 가리키는 층별 정렬 특성에 의해 결정되었다. 결과적으로 V2의 추론 표현을 보호하면서 코딩 능력을 보강할 수 있다.
• 아키텍처는 qwen35 하이브리드로, 대부분 레이어는 선형/SSM 계열이며 매 4번째 레이어만 full softmax attention을 사용한다. 이러한 하이브리드는 긴 컨텍스트 효율과 충분한 표현력을 동시에 확보하며 본 병합은 동일한 텐서 키를 직접 조작하는 스트리밍 task-vector 루틴으로 구현되어 일반적인 mergekit 템플릿 오류를 회피한다. 네이티브 컨텍스트는 262,144 토큰으로 설계되어 대용량 문맥을 수용한다.
• 병합 결과는 bfloat16으로 캐스팅되어 GGUF로 저장한 다음 Q4_K_M로 양자화되었다. 최종 GGUF 아티팩트는 약 16.5GB이며 llama.cpp 환경에서 검증된 설정으로 단일 24–32GB GPU에 적합하다. 양자화 후에도 여러 온도에서의 클린 동작과 벤치마크 성능을 확인했다.

차별점

• 부모-후손(parent→descendant) 관계의 기하학을 분석해 V2를 앵커로 삼고 코더 델타를 층별로 가중 주입하는 전략을 취했다. 이 방식은 단순 평균 병합이나 동일 가중 DARE-TIES보다 델타의 중복 카운트와 초기 레이어의 불안정성을 줄인다. 실험 결과 SWE-bench astropy 조각에서 동급 대안보다 더 좋은 에이전트 결과를 냈다.
• 단일 파일로 실행 가능한 완전한 앱(ORBITAL, FLUX 등)을 모델 스스로 작성하고 Playwright로 검증·수정하는 'build→test→self-fix' 루프 사례를 레포에 포함했다. 이 데모들은 모델이 생성한 산출물을 실제 자동화 테스트로 통과시키며, 에이전트성능의 실무적 증거를 제공한다. 따라서 단순 코드 생성기보다 종합적 빌더로서의 포지셔닝이 확실하다.
• 병합 과정과 양자화 이후에도 저온·고온 온도 범위에서의 안정성을 동시에 확보했다는 점이 차별화 포인트다. temp 0.2와 0.9에서 모두 termination 클린 결과를 얻었고 temp 0.5–0.9 구간에서 안정적으로 동작한다. 이런 온도 내구성은 부모 모델들이 보였던 온도별 루핑 문제를 상당 부분 완화한다.

벤치마크

이미지 분석