Gemma-4-31B와 Qwen3.5 모델의 크로아티아 법률 문서 분류 벤치마크 결과

대체로 Gemma-4-31B의 성능에 놀라움을 표하며, 특히 비영어권 언어에서의 효율성에 주목하는 분위기이다.

• 단순 이진 분류 작업에서는 Thinking 모드(추론 모드)를 끄는 것이 비용 대비 성능 면에서 유리하다.
• 긴 문맥의 법률 문서 처리 시 MoE 모델보다 활성 파라미터가 많은 Dense 모델을 우선적으로 고려해야 한다.
• 비영어권 텍스트 처리 시 Gemma 시리즈의 성능을 반드시 테스트해 볼 가치가 있다.

• Gemma-4-31B는 비영어권(크로아티아어) 법률 도메인에서 Qwen 모델들을 능가하는 F1 90.6%의 성능을 보였다.
• 긴 문맥 분류 작업에서는 MoE(397B)보다 Dense(31B, 27B) 모델의 활성 파라미터 효율이 더 중요하게 작용했다.
• Thinking 모드는 토큰 비용을 5-10배 증가시키지만, 분류 정확도 향상에는 기여하지 못하거나 오히려 방해 요인이 되었다.
• Gemma 모델은 Qwen 대비 높은 프롬프트 준수율을 보여 정형 데이터 추출 및 파싱 작업에 더 적합했다.