Claude Code 아키텍처를 로컬 Qwen 3.5 9B에 이식하여 얻은 10가지 최적화 인사이트

실용적 조언

로컬 에이전트 구축 시 Qwen 2.5 대신 3.5 9B 모델을 우선 고려할 것
모델이 탐색 루프에 빠질 경우 시스템 프롬프트 수정 대신 외부 셸에서 단계 제한을 걸 것

섹션별 상세

Qwen 3.5 9B 모델의 네이티브 도구 호출 성능을 검증했다. Qwen 2.5 시리즈가 JSON을 일반 텍스트 필드에 넣어 별도 파싱이 필요했던 것과 달리, 3.5 시리즈는 구조화된 tool_calls를 직접 생성하여 39 tok/s의 빠른 속도와 높은 신뢰도를 보였다. 이는 소형 로컬 모델도 복잡한 에이전트 워크플로를 안정적으로 수행할 수 있음을 입증한다.

MicroCompact 기법을 도입하여 컨텍스트 효율성을 극대화했다. 도구 실행 결과에서 불필요한 데이터를 제거하고 핵심 정보만 남기는 방식으로 11KB의 데이터를 367자로 압축하여 80-93%의 절감률을 기록했다. 이 기법을 통해 프롬프트 공간을 60% 확보함으로써 로컬 GPU의 제한된 자원 내에서도 장기 추론이 가능해졌다.

모델의 무한 루프 방지를 위해 셸 수준의 Hard Cutoff 전략을 구현했다. 9B급 모델이 결과 생성 대신 파일 읽기 등 탐색 도구만 반복 호출하는 문제를 해결하기 위해 N단계 이후 도구 사용권을 박탈하고 강제로 결과물을 작성하게 했다. 적용 전에는 12단계를 탐색에만 쓰고 결과가 없었으나, 적용 후에는 5단계 탐색 후 6080바이트의 구조화된 보고서를 성공적으로 생성했다.

메모리 시스템과 프롬프트 구조 최적화로 출력 품질을 개선했다. 사용자, 피드백, 프로젝트, 참조로 구분된 4단계 메모리 시스템과 구조화된 시스템 프롬프트를 적용한 결과 A/B 테스트에서 이슈 발견 능력이 600% 향상됐다. 또한 병렬 부트스트랩과 모델 웜업을 통해 콜드 스타트 속도를 9% 단축하며 전체 실행 효율을 높였다.

용어 해설

도구 호출(Tool Calling): — LLM이 외부 API나 함수를 실행하기 위해 필요한 인자를 구조화된 형식으로 생성하는 기능이다. 모델이 단순 텍스트 생성을 넘어 실제 작업을 수행하게 하며, 에이전트 시스템의 핵심 동력으로 작용한다.
키-값 캐시(KV Cache): — 추론 과정에서 이전 토큰들의 연산 결과를 저장하여 중복 계산을 방지하는 기술이다. 이를 통해 생성 속도를 비약적으로 높일 수 있으며, 특히 긴 문맥을 처리할 때 GPU 자원 효율성을 극대화하는 데 중요하다.
컨텍스트 윈도우(Context Window): — 모델이 한 번에 처리할 수 있는 최대 토큰 범위를 의미한다. 이 범위가 클수록 더 많은 정보를 동시에 고려할 수 있지만, 메모리 사용량이 급증하므로 효율적인 데이터 압축과 관리가 필수적이다.

언급된 도구

Qwen 3.5 9B추천

로컬 추론용 LLM

Ollama추천

모델 추론 및 서빙 엔진

OpenClaw중립

로컬 에이전트 프레임워크