오픈 웨이트 LLM 실무 가이드: 벤치마크, 라이선스, 하드웨어 및 배포

섹션별 상세

오픈 웨이트 LLM 생태계는 Qwen 3.5, Gemma 4, Llama 4 등 주요 모델이 분기별로 출시되며 급격히 확장 중이다. 엔지니어는 모델 선정 시 라이선스 제약, 컨텍스트 윈도우, 하드웨어 가용성을 우선 고려해야 한다.

사용 사례별로 최적화된 모델을 제안한다. 코딩에는 DeepSeek-Coder-V3, 추론 및 수학에는 QwQ-32B, 일반 목적에는 Qwen3.5-72B가 권장된다.

하드웨어 요구사항은 모델 파라미터와 양자화 수준에 따라 결정된다. Q4_K_M 양자화는 품질 저하를 최소화하면서 VRAM 사용량을 약 55% 절감하여 프로덕션 배포의 표준으로 자리 잡았다.

효율적인 추론을 위해 vLLM, SGLang, llama.cpp와 같은 서빙 엔진을 활용한다. 고성능 API 서비스에는 vLLM이, 엣지 환경에는 llama.cpp가 적합하다.

파인튜닝은 LLaMA-Factory와 Unsloth를 통해 효율적으로 수행한다. QLoRA 기법을 사용하면 소비자용 GPU에서도 대규모 모델의 파라미터 튜닝이 가능하다.