소형 VLM 학습을 위한 공간 기반 OCR 데이터셋 파이프라인 'SGOCR' 공개

커뮤니티 반응

작성자의 데이터셋 파이프라인 구축 방식과 에이전트 기반 최적화 루프에 대해 커뮤니티의 관심이 집중되고 있다.

주요 논점

01찬성다수

경량 모델 조합과 에이전트 루프를 통한 데이터셋 자동화가 VLM 학습 효율을 크게 개선한다.

합의점 vs 논쟁점

합의점

소형 VLM의 성능 향상을 위해서는 고품질의 공간적 근거 데이터셋이 필수적이다.
데이터셋 생성 과정에서 모델 기반의 검증과 자동화된 품질 평가 루프가 중요하다.

실용적 조언

데이터셋 생성 시 여러 모델의 합의를 구하는 방식보다, 특정 작업에 특화된 경량 모델을 교사 모델로 활용하는 것이 비용 효율적이다.
수동 검토 결과를 품질 점수로 변환하여 에이전트 루프에 피드백하면 데이터셋 생성 자동화의 정확도를 높일 수 있다.

섹션별 상세

작성자는 기존 데이터셋이 텍스트와 이미지 간의 공간적 연관성을 충분히 학습시키지 못한다는 문제를 발견하고 SGOCR 파이프라인을 설계했다. 이 파이프라인은 텍스트 추출, 앵커 발견, 검증의 다단계 과정을 거쳐 공간적으로 정교한 VQA 튜플을 생성한다.

초기에는 여러 모델의 합의를 구하는 복잡한 방식을 사용했으나, 효율성을 위해 Nemotron-OCR-v2, Gemma4, Qwen3-VL, Gemini 2.5 Flash로 구성된 경량화된 파이프라인으로 최적화했다. 특히 Gemini 2.5 Flash를 교사 모델로 활용하여 문맥적 의미를 유지하면서도 비용과 속도를 개선했다.

데이터셋 품질 향상을 위해 작성자는 직접 수동 검토한 결과를 바탕으로 품질 점수를 산출하고, 이를 에이전트 기반의 최적화 루프에 반영했다. 이 루프는 Karpathy의 autoresearch 방식을 참고하여 하이퍼파라미터 탐색보다 전체적인 데이터셋의 일관성을 관찰하는 데 집중하도록 설계되었다.

언급된 도구

Qwen2.5-VL중립

로컬 환경에서의 초기 데이터셋 프롬프팅 및 VLM 학습

Nemotron-OCR-v2추천

텍스트 추출

Gemini 2.5 Flash추천

교사 모델로서의 데이터 검증 및 공간적 근거 확인