RTX 3090 Ti에서 Qwen 3.5 35B 모델의 컨텍스트가 11k로 제한되는 문제 해결 요청

커뮤니티 반응

사용자가 상세한 하드웨어 사양과 로그를 제공하여 구체적인 기술적 조언이 가능한 상태이다. 대체로 VRAM 한계에 따른 자동 축소 현상으로 이해하고 있으며, 최적화 설정값 변경을 권장하는 분위기이다.

실용적 조언

KV 캐시 타입을 q8_0에서 q4_0으로 변경하여 메모리 사용량을 절반으로 줄일 것.
모델 레이어를 모두 GPU에 올리는 대신 --n-gpu-layers 값을 낮추어 VRAM 여유 공간을 확보할 것.
Open WebUI의 num_ctx 설정이 llama.cpp의 --ctx-size와 일치하는지 재확인할 것.

섹션별 상세

사용자는 --ctx-size 32768을 설정했음에도 불구하고 실제 가용 컨텍스트가 11,008 토큰으로 제한되는 현상을 보고했다. 이는 VRAM 부족 시 llama.cpp가 자동으로 컨텍스트 크기를 축소하는 메커니즘과 관련이 있을 것으로 추측된다.

bash

command: >
  --model /models/Qwen3.5-35B-A3B-Q4_K_M.gguf
  --mmproj /models/mmproj-F16.gguf
  --no-mmproj-offload
  --ctx-size 32768
  --n-gpu-layers 99
  --n-cpu-moe 8
  --parallel 1
  --no-mmap
  --flash-attn on
  --cache-type-k q8_0
  --cache-type-v q8_0
  --jinja
  --poll 0
  --threads 8
  --batch-size 2048
  --fit on

사용자가 설정한 llama.cpp 서버 구동을 위한 Docker Compose 실행 명령 예시

Open WebUI에서 발생한 컨텍스트 크기 초과 에러 메시지 스크린샷 — Screenshot요청된 토큰은 약 29,543개이지만 모델의 가용 컨텍스트가 11,008개로 제한되어 있음을 명시적으로 보여준다. 이는 사용자가 설정한 32k 컨텍스트가 실제로는 적용되지 않았음을 입증하는 핵심 근거이다.

성공적인 프롬프트 처리 시의 토큰 생성 속도 및 통계 로그 — Screenshot입력 토큰 8,427개에 대해 초당 약 184토큰의 처리 속도를 보여주며, 출력은 초당 81토큰 수준임을 나타낸다. 시스템이 정상 작동할 때의 성능 지표를 확인하는 용도로 사용된다.

현재 VRAM 사용량은 24GB 중 약 18GB를 점유하고 있으며, 모델 파일 크기가 약 21GB인 점을 고려할 때 KV 캐시를 위한 공간이 부족한 상태이다. 특히 Q8_0 방식의 KV 캐시 타입 설정이 VRAM 압박을 가중시키고 있다.

사용자는 64k 이상의 긴 컨텍스트 처리를 위해 4비트 KV 캐시 양자화 또는 MoE 전문가(Experts)의 CPU 오프로딩(--n-cpu-moe)이 유효한 전략인지 질문했다.

Open WebUI와 llama.cpp 서버 간의 설정 충돌 가능성도 언급됐다. 백엔드에서 설정한 컨텍스트 크기가 프런트엔드 설정에 의해 덮어씌워지거나 제한될 수 있는 구조적 문제를 확인해야 한다.

용어 해설

전문가 혼합 모델(MoE): — Mixture of Experts의 약자로, 전체 파라미터 중 일부 전문가 네트워크만 활성화하여 추론 효율성을 높이는 아키텍처이다. Qwen 3.5 35B 모델처럼 큰 모델을 적은 연산량으로 구동할 수 있게 하지만, VRAM 관리 측면에서 전문가 오프로딩 전략이 중요하게 작용한다.
키-값 캐시(KV Cache): — LLM 추론 과정에서 이전 토큰들의 연산 결과를 저장해두는 메모리 영역이다. 컨텍스트 길이가 길어질수록 기하급수적으로 커지며, VRAM 용량이 제한적인 환경에서 긴 문맥을 처리하기 위해 4비트나 8비트로 양자화하여 저장 공간을 최적화하는 기법이 주로 사용된다.
양자화(Quantization): — 모델의 가중치나 활성화 값을 낮은 비트(예: 4비트, 8비트)로 표현하여 메모리 사용량을 줄이고 추론 속도를 높이는 기법이다. 본문에서는 모델 자체의 Q4_K_M 양자화와 KV 캐시의 Q8_0 양자화가 언급되며, 이는 VRAM이 부족한 GPU 환경에서 대형 모델을 구동하기 위한 필수 기술이다.
컨텍스트 윈도우(Context Window): — 모델이 한 번에 처리할 수 있는 최대 토큰 범위를 의미한다. Qwen 3.5는 이론적으로 256k를 지원하지만, 실제 가용 범위는 하드웨어의 VRAM 용량과 KV 캐시 설정에 따라 제한된다. 본문에서는 설정값보다 훨씬 낮은 11k에서 제한이 걸리는 문제가 핵심 논점이다.

언급된 도구

llama.cpp추천

LLM 추론 엔진 및 서버

Open WebUI중립

LLM 사용자 인터페이스(Frontend)

Qwen 3.5 35B추천

MoE 기반 대형 언어 모델