합성 데이터 5,000개보다 직접 라벨링한 데이터 200개가 더 나은 이유

커뮤니티 반응

작성자의 경험에 공감하며 데이터의 양보다 질이 중요하다는 사실이 다시 한번 확인되었다는 반응이다.

주요 논점

01찬성다수

합성 데이터의 한계를 인정하고 소량의 고품질 실제 데이터가 학습의 핵심이라는 주장에 동의한다.

합의점 vs 논쟁점

합의점

합성 데이터에는 LLM 고유의 패턴이 존재하여 모델 학습을 방해할 수 있다
데이터 증강 시 실제 데이터와의 혼합 비율이 성능에 큰 영향을 미친다

실용적 조언

모델 성능이 정체될 경우 무작정 데이터를 늘리기보다 100~200개의 고품질 데이터를 직접 라벨링하여 학습해볼 것
합성 데이터를 사용할 때는 실제 데이터와 혼합하여 모델이 특정 패턴에 매몰되지 않도록 주의할 것

섹션별 상세

작성자는 LLM API를 활용해 5,000개의 합성 데이터를 생성하고 무작위 샘플 검수를 거쳐 학습을 진행했다. 하지만 실제 평가 결과는 기대에 미치지 못하는 중간 수준의 성능에 머물렀다. 이는 데이터의 양이 반드시 성능 향상으로 직결되지 않음을 보여주는 사례이다.

사람이 직접 라벨링한 200개의 데이터셋으로 학습했을 때 5,000개의 합성 데이터셋보다 월등한 성능을 기록했다. 작성자는 합성 데이터에 포함된 LLM 특유의 문체나 포맷 패턴을 모델이 학습 과제보다 우선적으로 습득했기 때문이라고 분석했다. 결과적으로 모델이 실제 도메인 지식이 아닌 데이터의 형식적 특징에 과적합된 셈이다.

고품질의 실제 데이터 200개와 합성 데이터 1,000개를 혼합했을 때 성능이 더욱 개선되는 현상이 관찰됐다. 이는 합성 데이터 자체가 무가치한 것이 아니라 실제 데이터가 제공하는 핵심적인 도메인 맥락이 반드시 병행되어야 함을 시사한다. 단순한 데이터 증강보다는 데이터의 질적 균형이 중요하다는 결론에 도달했다.

용어 해설

합성 데이터셋(Synthetic Dataset): — LLM과 같은 AI 모델을 사용하여 인위적으로 생성한 학습용 데이터 모음이다. 실제 데이터를 수집하기 어려운 환경에서 데이터 양을 빠르게 늘릴 수 있지만, 생성 모델의 편향이나 고유한 패턴이 포함될 위험이 있다.
수동 라벨링 데이터(Hand-labeled Data): — 사람이 직접 검토하고 정답(라벨)을 부여한 고품질 데이터를 의미한다. 양은 적더라도 합성 데이터보다 정확도가 높고 실제 도메인의 복잡성을 잘 반영하여 모델 성능의 기준점이 된다.
평가 결과(Eval Results): — 학습된 모델이 본 적 없는 데이터에 대해 얼마나 정확하게 예측하는지 측정한 지표이다. 모델의 일반화 성능을 확인하고 학습 전략의 유효성을 판단하는 핵심 근거로 활용된다.