YoloGen: 단일 YOLO 데이터셋으로 VLM까지 학습하는 자동화 도구

실용적 조언

기존에 보유한 YOLO 데이터셋이 있다면 YoloGen을 통해 추가 비용 없이 VLM 검증 레이어를 구축해볼 것
메모리 제약이 있는 환경에서는 QLoRA 설정을 활용하여 1B~4B 규모의 경량 VLM부터 테스트할 것

섹션별 상세

YoloGen은 기존 YOLO 데이터셋의 라벨 정보를 활용하여 VLM 학습에 필요한 포지티브, 크로스 클래스 네거티브, 하드 네거티브 데이터를 자동으로 추출한다. 별도의 학습된 탐지기 없이 이미지에서 직접 데이터를 마이닝하여 VLM 학습용 데이터셋을 구성하는 프로세스를 갖췄다. 이를 통해 사용자는 두 번의 어노테이션 과정을 거치지 않고도 고성능 비전 스택을 구축할 수 있다.

학습 과정에서 Ultralytics 기반의 YOLO 학습과 QLoRA를 이용한 VLM 파인튜닝을 동시에 지원한다. 설정 파일의 한 줄만 수정하면 Qwen 2.5-VL, Qwen 3-VL, InternVL 3.5 등 다양한 VLM 모델군을 즉시 교체하여 실험할 수 있는 유연성을 제공한다. 1B에서 8B 규모의 모델까지 지원하여 하드웨어 자원에 맞춘 최적화가 가능하다.

VLM의 역할을 상세 캡션 생성 모드 또는 이진 분류(Yes/No) 검증기 모드 중 선택하여 데이터셋을 생성할 수 있다. 이는 YOLO가 탐지한 객체의 속성을 상세히 설명하거나, 탐지 결과의 진위 여부를 재검증하는 등 다양한 프로덕션 시나리오에 대응하기 위함이다. MIT 라이선스로 공개되어 상업적 활용과 커스터마이징이 자유롭다.

용어 해설

시각 언어 모델(VLM): — 이미지와 텍스트를 동시에 이해하고 처리할 수 있는 멀티모달 AI 모델이다. 시각적 정보를 텍스트로 설명하거나 질문에 답하는 기능을 수행하며, 본문에서는 YOLO가 탐지한 객체를 검증하거나 상세 묘사하는 2단계 검증 레이어로 활용된다.
양자화된 저순위 어댑터(QLoRA): — 사전 학습된 모델을 4비트로 양자화한 후 저순위 어댑터(LoRA)를 추가하여 파인튜닝하는 효율적인 학습 기법이다. 메모리 사용량을 대폭 줄이면서도 성능 저하를 최소화하여 일반적인 GPU 환경에서도 대규모 시각 언어 모델을 학습할 수 있게 한다.
하드 네거티브 마이닝(Hard Negative Mining): — 모델이 정답으로 오해하기 쉬운 까다로운 오답 데이터를 선별하여 학습에 활용하는 기법이다. YoloGen은 이미지에서 직접 이러한 데이터를 추출하여 VLM의 판별 정확도를 높이는 데이터셋을 자동으로 생성한다.

언급된 도구

YoloGen추천링크

YOLO 및 VLM 통합 학습 및 데이터셋 자동 생성 도구

Ultralytics중립

YOLO 모델 학습 및 추론 프레임워크

언급된 리소스

GitHubYoloGen GitHub Repository