Gemma 2 4B와 Qwen 2.5 4B의 문서 처리(IDP) 벤치마크 상세 분석

커뮤니티 반응

벤치마크 수치에 기반한 상세한 분석에 대해 긍정적인 반응이며, 특히 모델별 강점과 약점이 명확히 구분되어 실무 선택에 도움이 된다는 평가이다.

주요 논점

01중립다수

Gemma는 시각적 인식 능력이 뛰어나고 Qwen은 구조화된 추출과 에이전트 성능이 뛰어나므로 용도에 맞게 선택해야 한다.

합의점 vs 논쟁점

합의점

Gemma는 구조화된 출력(JSON 등) 생성 능력에서 Qwen보다 열세에 있다.
Qwen은 수학 수식 및 다단 레이아웃 처리에서 압도적인 성능을 보여준다.

논쟁점

Gemma의 필기체 인식 능력이 Qwen보다 실제로 우수한지에 대해서는 OCR 벤치마크 해석에 따라 의견이 갈릴 수 있다.

실용적 조언

복잡한 레이아웃의 문서를 처리해야 한다면 Qwen 2.5 4B를 우선적으로 검토하라.
Gemma 2 4B 사용 시 시각적 토큰(Visual Token) 설정을 통해 OCR 품질과 비용의 균형을 맞추라.
로컬 환경에서 MoE 모델을 구동할 계획이라면 Qwen 계열이 Gemma MoE보다 추론 속도(tok/s) 면에서 유리할 수 있다.

섹션별 상세

OlmOCR 벤치마크에서 Qwen 2.5 4B가 75.4점을 기록하며 47.0점에 그친 Gemma 2 4B를 크게 앞섰다. 특히 수학 기호 처리(ArXiv Math)에서 Qwen은 86.7점을 기록한 반면 Gemma는 20.4점에 머물러 복잡한 수식 렌더링 이해에 한계를 보였다. 다단 레이아웃(Multi-Column) 점수에서도 Qwen이 79.2점으로 Gemma의 37.1점보다 두 배 이상 높은 성능을 나타냈다.

IDP Core 벤치마크의 세부 항목인 KIE(Key Information Extraction)에서 두 모델의 격차가 극명하게 드러났다. Qwen은 86.0점을 기록하며 구조화된 데이터 추출에 강점을 보였으나 Gemma는 11.1점에 그치며 스키마 준수 실패 양상을 보였다. 다만 순수 OCR(Raw Text Recognition) 영역에서는 Gemma가 74.0점으로 Qwen의 64.7점보다 우수한 성적을 거두어 시각적 인식 능력 자체는 경쟁력이 있음이 확인됐다.

Gemma 2 4B의 아키텍처는 시각적 품질 개선을 위해 잔차 신호를 모든 디코더 레이어에 공급하는 두 번째 임베딩 테이블을 사용한다. 또한 메모리 효율을 위해 마지막 몇 개의 디코더 레이어에서 KV 텐서를 공유하는 구조를 채택하여 긴 컨텍스트 추론 시의 부하를 줄였다. 시각적 토큰 예산은 호출당 70개에서 1120개까지 설정 가능하여 비용과 OCR 정확도 사이의 트레이드오프를 조절할 수 있다.

에이전트 활용 측면에서 Qwen 2.5 4B는 실제 도구 사용 능력을 측정하는 TAU2 점수에서 우위를 점하고 있다. Gemma는 함수 호출을 위해 전용 특수 토큰을 사용하여 프롬프트 엔지니어링 기반의 JSON 방식보다 깔끔한 파이프라인 구축이 가능하지만 실제 에이전트 동작 성능은 Qwen이 더 높게 평가된다. 26B MoE 모델의 경우 로컬 실행 속도가 Qwen 35B-A3B 대비 현저히 느리다는 점이 실무적인 제약 사항으로 지적됐다.

언급된 도구

Gemma 2 4B중립

경량 멀티모달 언어 모델

Qwen 2.5 4B추천