핵심 요약
RTX 5090 환경에서 Qwen3.5-35B는 이전 모델보다 생성 속도는 느리지만, 긴 문맥(Context)에서 성능 저하가 거의 없는 뛰어난 확장성을 보여주었다.
배경
Qwen3.5-35B-A3B 모델 출시 당일, 최신 하드웨어인 NVIDIA RTX 5090에서 이전 세대인 Qwen3-30B와 성능을 직접 비교하기 위해 7개 섹션에 걸친 자동화 벤치마크를 수행했다.
의미 / 영향
Qwen3.5는 속도보다 효율성과 확장성에 집중한 모델로 확인됐다. 특히 긴 문맥에서도 성능 저하가 없는 특성은 엔터프라이즈급 RAG 시스템 구축에 강력한 이점이 된다.
커뮤니티 반응
RTX 5090을 활용한 신속한 벤치마크 결과에 대해 매우 긍정적인 반응이며, 특히 Qwen3.5의 컨텍스트 스케일링 결과가 기존 모델들과 차별화된다는 점에 주목하고 있다.
주요 논점
01중립다수
단기 속도는 30B가 압도적이지만, 긴 문맥을 다루는 작업에서는 3.5의 아키텍처적 이점이 크므로 용도에 따른 선택이 필요하다.
합의점 vs 논쟁점
합의점
- RTX 5090의 32GB VRAM은 두 모델의 Q4_K_M 양자화 버전을 구동하기에 충분함
- Qwen3.5의 컨텍스트 확장 능력은 이전 세대 대비 비약적으로 발전함
논쟁점
- Qwen3.5의 프롬프트 처리 속도 저하가 실시간 서비스 환경에서 병목 현상이 될 가능성
실용적 조언
- 짧은 채팅이나 빠른 응답이 중요한 서비스에는 Qwen3-30B가 더 적합하다.
- 긴 문서 요약, 대규모 RAG, 복잡한 다회차 대화에는 Qwen3.5-35B를 추천한다.
- 사고 모드 사용 시 Qwen3.5가 토큰 예산을 더 효율적으로 관리하므로 복잡한 논리 문제에 유리하다.
전문가 의견
- Qwen3.5의 평탄한 컨텍스트 스케일링 곡선은 단순한 파라미터 증가 이상의 아키텍처적 개선이 이루어졌음을 증명한다.
언급된 도구
llama.cpp추천
LLM 추론 엔진 및 서버 실행 환경
RTX 5090추천
32GB VRAM을 탑재한 고성능 GPU 하드웨어
섹션별 상세
RTX 5090(32GB VRAM) 환경에서 Qwen3-30B는 평균 237.1 tok/s를 기록하며 Qwen3.5-35B(153.8 tok/s)보다 약 35% 빠른 속도를 보였다. VRAM 점유율은 30B가 27.3GB, 3.5-35B가 29.0GB로 두 모델 모두 5090의 32GB 메모리에 안정적으로 안착했다. 다만 Qwen3.5는 더 큰 어휘집(Vocab) 크기로 인해 프롬프트 처리 속도에서도 약 47% 느린 결과를 나타냈다.
이번 벤치마크에서 가장 주목할 만한 결과는 컨텍스트 확장에 따른 속도 저하율이다. Qwen3-30B는 512토큰에서 8K토큰으로 확장 시 생성 속도가 21.5% 감소한 반면, Qwen3.5-35B는 단 0.9%의 성능 저하만 보이며 거의 일정한 속도를 유지했다. 이는 긴 대화나 대규모 RAG 작업에서 Qwen3.5가 구조적 우위를 점하고 있음을 시사한다.
llama.cpp의 reasoning-budget 기능을 활용한 테스트에서 Qwen3.5는 30B보다 훨씬 간결하고 효율적인 사고 과정을 보여주었다. 30B는 사고 과정에서 토큰을 과도하게 소비하여 답변 생성 전 제한에 걸리는 경우가 발생했으나, 3.5는 더 적은 토큰으로 정답에 도달했다. 다만 사고 중의 처리 속도는 30B가 일반 생성과 동일한 속도를 유지한 반면, 3.5는 속도가 소폭 하락하는 특성을 보였다.
창의적 글쓰기, 코딩(LRU 캐시 구현), 공학 계산(토질 역학) 등 다양한 분야에서 두 모델 모두 우수한 품질을 보여주었다. RAG 파이프라인 테스트에서도 두 모델 모두 6개 질의 중 6개 모두 정확한 근거를 찾아 답변했으나, Qwen3.5가 30B보다 더 상세하고 구조화된 응답을 생성하는 경향이 있었다. JSON 출력 테스트에서도 두 모델 모두 100%의 정확도를 기록하며 구조화된 데이터 생성 능력을 입증했다.
실무 Takeaway
- 단순 생성 속도와 짧은 상호작용에서는 Qwen3-30B가 3.5 대비 약 48% 더 빠르다.
- Qwen3.5-35B는 컨텍스트가 길어져도 속도가 거의 줄어들지 않는 독보적인 확장성을 보유했다.
- 사고(Thinking) 모드에서 Qwen3.5는 30B보다 효율적인 토큰 사용으로 정답 도달률이 더 높다.
- Qwen3.5는 비전 프로젝터를 포함하고 있어 향후 멀티모달 활용 가능성이 열려 있다.
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료