Claude Code에서 Qwen3-Coder-Next 80B와 Qwen3.5 35B 로컬 모델 사용 후기

커뮤니티 반응

작성자는 80B 모델의 성능에 매우 만족하고 있으며, 로컬 LLM 사용자들에게 유용한 비교 데이터를 제공했다.

주요 논점

01찬성다수

로컬 환경에서 코딩 에이전트를 구동할 때 80B급 대형 모델이 35B 모델보다 도구 호출 및 안정성 면에서 월등하다.

합의점 vs 논쟁점

합의점

코딩 에이전트 워크플로우에서 도구 호출의 정확도가 가장 중요하다.
충분한 VRAM이 확보된다면 로컬에서도 상용 모델급 코딩 성능을 구현할 수 있다.

논쟁점

Qwen3.5 35B 모델의 작업 중단 현상이 모델 자체의 한계인지 소프트웨어 버그인지에 대한 여부

실용적 조언

36GB VRAM 환경이라면 Qwen3-Coder-Next 80B IQ3_XXS 양자화 모델 사용을 권장한다.
Claude Code와 로컬 모델 연동 시 작업이 멈추면 /execute-plan 명령어를 활용해 강제 실행할 수 있다.

섹션별 상세

하드웨어 구성과 모델 설정에 관한 상세 정보를 공유했다. RTX 3090과 RTX 5070을 병렬로 연결하여 총 36GB의 비디오 메모리를 확보했으며, 이를 통해 Qwen3-Coder-Next 80B 모델을 IQ3_XXS 양자화 버전으로 구동했다. 컨텍스트 윈도우는 약 132k 토큰으로 설정하여 대규모 코드 베이스를 처리할 수 있는 환경을 구축했다.

Qwen3-Coder-Next 80B 모델의 성능이 기대 이상임을 확인했다. 코딩 에이전트인 Claude Code와 연동했을 때 도구 호출(Tool Call) 과정에서 단 한 차례의 오류도 발생하지 않았으며, 이는 작업의 연속성을 보장하는 핵심 요소이다. 체감 속도와 정확도 면에서 기존의 Claude 3.5 Sonnet 모델과 대등한 수준의 성능을 보여주었다.

Qwen3.5 35B 모델 사용 시 발생한 기술적 문제점을 지적했다. 해당 모델은 작업 수행 도중 갑자기 멈추는 현상이 빈번하게 발생하여 사용자가 수동으로 실행 계획을 다시 입력해야 하는 번거로움이 있었다. Unsloth에서 제공하는 최신 GGUF 업데이트와 권장 파라미터를 적용했음에도 불구하고 이러한 안정성 문제는 해결되지 않았다.

모델 체급에 따른 실질적인 효용성 차이를 분석했다. 80B 모델과 35B 모델을 직접 비교하는 것은 체급 차이가 크지만, 로컬 환경에서 코딩 에이전트를 안정적으로 구동하기 위해서는 일정 수준 이상의 파라미터 규모가 필수적임을 시사했다. 특히 복잡한 도구 호출이 필요한 작업에서는 대형 모델이 압도적인 우위를 점한다는 사실을 입증했다.

용어 해설

GGUF: — LLM 추론 엔진인 llama.cpp에서 주로 사용하는 파일 포맷으로, 가중치를 효율적으로 저장하고 CPU와 GPU 자원을 유연하게 활용할 수 있도록 설계되었다. 로컬 환경에서 다양한 양자화 모델을 실행하는 데 필수적인 표준 규격이다.
양자화(Quantization): — 모델의 가중치 데이터를 낮은 비트(예: 3bit, 4bit)로 변환하여 메모리 점유율을 획기적으로 낮추는 기술이다. 이를 통해 일반 소비자용 GPU에서도 수십억 개의 파라미터를 가진 거대 모델을 구동할 수 있게 하며, 본문에서는 IQ3_XXS 등의 형식이 언급되었다.
도구 호출(Tool Call): — 언어 모델이 텍스트 생성을 넘어 외부의 함수, API, 파일 시스템 등을 직접 조작하기 위해 특정 구조의 명령을 내리는 기능이다. 코딩 에이전트가 코드를 직접 수정하거나 터미널 명령을 실행하는 데 핵심적인 역할을 수행한다.
비디오 램(VRAM): — 그래픽 카드에 탑재된 전용 메모리로, LLM의 가중치와 추론 시 발생하는 중간 데이터들을 저장한다. 로컬 LLM 구동 시 모델의 크기와 컨텍스트 길이를 결정짓는 가장 중요한 하드웨어 제약 요소로 작용한다.
컨텍스트 윈도우(Context Window): — 모델이 한 번의 추론 과정에서 기억하고 참조할 수 있는 최대 토큰의 양을 의미한다. 코딩 작업에서는 수많은 파일과 긴 코드 맥락을 동시에 파악해야 하므로, 128k 이상의 넓은 컨텍스트 윈도우 확보가 성능의 척도가 된다.

언급된 도구

Claude Code추천

Anthropic에서 제공하는 CLI 기반 코딩 에이전트 도구

Unsloth중립

LLM 파인튜닝 및 양자화 모델 제공 라이브러리