Gemma 4 4B vs Gemma 3 vs Qwen 3: OCR 성능 비교 테스트 결과

커뮤니티 반응

사용자는 최신 모델인 Gemma 4의 결과에 대해 실망감을 표했으며, 이전 모델들이 OCR 작업에 더 적합하다는 의견을 제시했습니다.

주요 논점

01반대다수

Gemma 4 4B 모델이 이전 세대 모델들보다 OCR 성능이 뛰어나지 않으며 오히려 퇴보했다.

합의점 vs 논쟁점

합의점

Gemma 3와 Qwen 3는 폴란드어 OCR 작업에서 안정적인 성능을 보임
Gemma 4는 텍스트 누락 및 인식 오류가 빈번함

논쟁점

Gemma 4 모델 자체의 결함 여부
프롬프트 최적화로 성능 개선이 가능한지 여부

실용적 조언

OCR 작업 시 최신 모델만 고집하기보다 Gemma 3나 Qwen 시리즈와 같은 검증된 대안을 함께 테스트할 것
텍스트 추출 시 표 형식을 지양하도록 프롬프트를 구체화하면 누락을 줄일 수 있음

섹션별 상세

Gemma 4 4B의 실망스러운 OCR 성능 결과이다. 사용자가 Gemma 4 4B의 비전 능력을 검증하기 위해 폴란드어 텍스트 이미지를 대상으로 테스트를 수행했다. LM Studio에서 'Make OCR' 프롬프트를 사용하여 이미지 내 텍스트를 디지털로 변환하도록 지시했다. Gemma 4는 첫 시도에서 거의 모든 줄을 놓쳤으며, 두 번째 시도에서도 단 9줄만 부정확하게 처리하는 결과를 냈다. 최신 모델이 특정 다국어 비전 작업에서 이전 세대보다 성능이 떨어질 수 있음을 시사한다.

Gemma 3 및 Qwen 3와의 비교 우위 확인이다. 대조군으로 Gemma 3 4B와 Qwen 3 4B 모델을 동일한 환경에서 구동했다. 동일한 회전 이미지와 프롬프트를 제공하여 텍스트 추출의 정확성과 완전성을 측정했다. 두 모델 모두 폴란드어 특수 문자를 포함한 긴 문장들을 완벽에 가깝게 복구하며 Gemma 4와 대조적인 고성능을 보여주었다. 현재 OCR 워크로드에는 Gemma 4보다 Gemma 3나 Qwen 시리즈가 더 신뢰할 수 있는 선택지이다.

설정 변경 및 프롬프트 최적화의 한계이다. 모델의 성능을 끌어올리기 위해 온도 설정과 프롬프트 문구를 수정하며 실험했다. 온도를 0.1에서 1.0으로 높이거나 '표를 만들지 말고 텍스트만 추출하라'는 제약 조건을 추가했다. 프롬프트 수정 후 텍스트 누락은 일부 개선되었으나 여전히 오타가 많고 Gemma 3의 기본 성능에는 미치지 못했다. 모델 아키텍처나 학습 데이터셋의 차이로 인한 근본적인 성능 격차는 단순한 설정 변경으로 극복하기 어렵다.

언급된 도구

LM Studio추천

로컬 LLM 실행 및 테스트 도구

Unsloth중립

모델 최적화 및 배포 라이브러리