YoloGen: 단일 YOLO 데이터셋으로 VLM까지 학습하는 자동화 도구

작성자가 결함 탐지, 의료, 국방, 소매 등 다양한 도메인에서의 활용 사례와 벤치마크 피드백을 요청하며 기술적 관심을 유도하고 있다.

• 기존에 보유한 YOLO 데이터셋이 있다면 YoloGen을 통해 추가 비용 없이 VLM 검증 레이어를 구축해볼 것
• 메모리 제약이 있는 환경에서는 QLoRA 설정을 활용하여 1B~4B 규모의 경량 VLM부터 테스트할 것

VLM

— 이미지와 텍스트를 동시에 이해하고 처리할 수 있는 멀티모달 AI 모델이다. 시각적 정보를 텍스트로 설명하거나 질문에 답하는 기능을 수행하며, 본문에서는 YOLO가 탐지한 객체를 검증하거나 상세 묘사하는 2단계 검증 레이어로 활용된다.

QLoRA

— 사전 학습된 모델을 4비트로 양자화한 후 저순위 어댑터(LoRA)를 추가하여 파인튜닝하는 효율적인 학습 기법이다. 메모리 사용량을 대폭 줄이면서도 성능 저하를 최소화하여 일반적인 GPU 환경에서도 대규모 시각 언어 모델을 학습할 수 있게 한다.

Hard Negative Mining

— 모델이 정답으로 오해하기 쉬운 까다로운 오답 데이터를 선별하여 학습에 활용하는 기법이다. YoloGen은 이미지에서 직접 이러한 데이터를 추출하여 VLM의 판별 정확도를 높이는 데이터셋을 자동으로 생성한다.