TL;DR

grug-27b는 Qwen3.6-27B에 LoRA(r=32, 텍스트 스택 전체 선형층)를 적용해 bf16으로 병합한 모델로, 에이전트 궤적과 GPT-5.5로 생성한 고품질 데이터에서 사고 과정에만 손실을 부여하는 think-only loss로 학습해 장황한 사고 과정을 압축했다. 같은 HumanEval 문제에서 베이스 모델이 6,539토큰을 쓰는 사고를 33토큰으로 줄이면서도 정답 품질은 그대로 유지하며, MBPP·GSM8K·SWE 에이전틱 재현 등에서 베이스보다 오히려 점수가 오른다. 35B 형제 모델에서 나타난 반복 루프 문제를 사고 기록이 유지되는 경우와 매 턴 폐기되는 경우 양쪽으로 학습해 해결했고, 43개 스트레스 테스트 전부에서 반복 루프가 나타나지 않았다. 쉬운 문제는 짧게, 어려운 문제는 깊게 사고하는 적응적 사고 깊이를 익혀 토큰 절약이 단순 삭제가 아니라 필요할 때는 더 깊이 사고하는 방향으로 이뤄졌다.

핵심 포인트

• 같은 정답 품질을 유지하면서 사고 과정 토큰을 벤치마크별로 최대 98% 줄여 추론 비용을 크게 낮춘다.
• 쉬운 문제는 짧게, 어려운 문제는 깊게 사고하는 적응적 사고 깊이를 학습해 단순 토큰 절약이 아닌 상황별 조절을 한다.
• 35B 버전에서 나타난 반복 루프 문제를 사고 기록 유지·폐기 두 시나리오 모두로 학습해 43개 스트레스 테스트에서 무루프를 확인했다.
• SWE 에이전틱 재현에서 툴 호출 일치율이 베이스보다 38.2%p 높아 실제 에이전트 워크플로에서 안정성이 개선됐다.

제한사항

벤치마크