DataPrep-Bench: LLM 기반 학습 데이터 준비 능력 통합 벤치마크

학습 데이터의 품질이 대형 언어 모델의 성능을 좌우하는 핵심 변수라는 점은 경험적으로 확인되어 왔다. DataPrep-Bench는 데이터 생성 방법과 데이터 품질 평가 지표를 동일한 원천 소스, 동일한 베이스 모델, 동일한 미세조정 프로토콜로 연결하여 실제 다운스트림 성능을 직접 기준으로 삼는다. 이로 인해 표면적 텍스트 품질이나 휴리스틱 지표로는 포착되지 않는 합성 데이터의 실제 유용성을 공정하게 비교할 수 있는 평가 기준이 제공된다.

LLM 기반 데이터 준비 문제는 두 단계로 나뉜다. 첫째는 긴 도메인 문서 같은 원천을 학습 가능한 감독 샘플로 전환하는 데이터 생성 문제이고, 둘째는 생성·수집된 후보 데이터셋이 실제로 다운스트림 학습에서 유용할지를 미리 예측하는 데이터 품질 평가 문제이다. 기존 연구는 서로 다른 소스·모델·벤치마크를 사용해 비교 결과가 일관되지 않아 어떤 방법이 실제 학습 유틸리티를 제공하는지 알기 어려웠다. Data-Construction-Skill의 핵심은 작업 의미론을 재사용 가능한 스킬 레이어로 분리해 에이전트가 계획·실행·검증을 수행하도록 만드는 것이다. 긴 문서를 청크 단위로 구조화하고 각 청크에서 정의·규칙·예시를 추출해 개념형·추론형·사례형 QA 샘플을 생성한 다음, 문서 상대 참조 제거·중복 필터링·검증 규칙을 적용해 파인튜닝에 적합한 데이터셋을 얻는다. 이 방식은 단일 프롬프트나 고정 파이프라인이 놓치기 쉬운 커버리지 추적과 재현성 문제를 해결해 구조화된 지식 추출에서 강점을 보였다. 데이터 품질 평가는 분포적 근접성을 통해 다운스트림 유용성을 예측할 수 있다는 이론적 근거에 기반한다. 특정 모델군과 고정 트레이닝 프로토콜 하에서 소스와 타깃 분포 간의 불일치가 타깃 리스크의 상한을 결정하는 기존 도메인 적응 이론에 착안해, 후보 데이터와 도메인 프록시의 임베딩 분포 차이를 MMD로 측정하면 파인튜닝 전에 성능을 어느 정도 예측할 수 있다. 실험 결과 DAS는 수리·과학·의료 도메인에서 강한 상관을 보였고, 이는 분포 정렬이 특정 유형의 전문적·추론 중심 작업에서 실제 학습 이득을 가늠하는 데 효과적임을 시사한다.

전체 접근은 두 트랙으로 나뉘며 동일한 다운스트림 평가 프로토콜로 연결된다. 데이터 생성 트랙은 각 도메인별 장문 원천(교재·문헌)을 공통의 Markdown 폴더로 제공하고, 각 생성 방법이 이 입력을 소비해 QA형 감독 데이터셋을 출력하면 해당 출력으로 베이스 모델을 Dolly-15k와 함께 파인튜닝해 다운스트림 벤치마크 성능을 측정한다. 데이터 품질 평가 트랙은 후보 풀과 도메인 프록시를 고정하고 각 메트릭의 점수와 실제 파인튜닝 성능 사이의 Pearson 상관을 계산해 예측력을 정량화한다. Data-Construction-Skill의 내부 절차는 구조 인지형 청크(Chunk)로 문서를 분할하는 단계에서 시작한다. 각 청크에 대해 에이전트가 핵심 지식 명제와 국부적 관계(정의·규칙·예외 등)를 식별하고, 내용에 따라 개념형·추론형·사례형 QA를 최대한 생성한다. 스킬 레이어는 출력 스키마, 필터링 기준, 커버리지 요구사항, 금지 패턴(문서 상대 질문·비근거 답변 등)을 명시해 에이전트의 생성과 검증 동작을 규율한다. DAS 계산은 고정 텍스트 인코더로 각 샘플을 임베딩한 뒤 Gaussian RBF 커널 기반의 MMD를 후보와 도메인 프록시 사이에서 계산하는 파이프라인으로 구현된다. 구현상 Qwen3-Embedding-8B를 사용해 각 데이터셋에서 무작위로 5,000개의 인스턴스를 샘플링하고 밴드폭 σ=1.0의 RBF를 적용했다. 계산된 MMD의 음수 값을 DAS로 사용하며, 각 도메인에서 후보 점수와 실제 파인튜닝 성능 간의 Pearson 상관과 p-값을 보고하여 통계적 유의성을 검증한다.

데이터 생성 실험에서 가장 반복적으로 관찰된 현상은 Dolly-15k만 사용한 기준선보다 합성 도메인 데이터를 추가하면 성능이 떨어지는 경우가 빈번했다는 것이다. 이는 Dolly-15k 기준과 다른 행의 유일한 차이가 도메인 합성 데이터뿐이라는 점에서 해당 합성 데이터 자체가 회귀의 원인임이 명확해졌다. 따라서 합성 데이터를 무조건 더 쓰는 전략은 안전하지 않으며 표면적 품질 지표는 이러한 회귀를 포착하지 못할 수 있다. 방법군별로 보면 에이전트 기반 생성기가 추론 중심 도메인(Math, Medical)에서 상대적으로 우수했고, DataFlow 스타일의 워크플로우는 구조화된 도메인(Finance, Law)에서 강점을 보였다. Data-Construction-Skill은 금융 도메인에서 Llama-3.1-8B 기준으로 Dolly-15k 대비 거의 20포인트의 절대 향상을 달성하여 지식 추출이 중요한 도메인에서 특히 효과적이었다. 그러나 과학(Science)처럼 개방형 추론이 필요한 분야에서는 Skill도 모든 경우에 우위를 점하지 못했고 일부 베이스모델·도메인 조합에서는 Dolly-only를 밑도는 결과가 나타났다. 데이터 품질 평가에서는 DAS가 가장 일관된 예측력을 보인 메트릭이었다. DAS는 6개 도메인 중 4개에서 최강 또는 공동 최강의 도메인 평균 상관을 기록했고, Math에서는 두 개 베이스모델에서 r>0.93을 달성했다. 특히 Math, Science, Medical에서 DAS만이 세 도메인에서 동시에 r>0.70을 넘겼는데 이는 분포 근접성이 전문적·추론 중심 작업의 파인튜닝 유틸리티를 예측하는 데 실용적 지표임을 시사한다.

전체 아키텍처는 두 트랙(데이터 생성 및 품질 평가)과 공통 다운스트림 프로토콜로 구성된다. 데이터 생성 트랙에서는 각 생성 방법이 동일한 Markdown 형식의 장문 원천을 소비해 QA형 데이터셋을 내놓고, 그 출력과 Dolly-15k를 함께 베이스 모델에 SFT하여 도메인별 벤치마크에서 평가한다. 품질 평가 트랙은 후보 풀과 도메인 프록시를 고정해 각 메트릭의 사전 점수와 실제 파인튜닝 성능의 Pearson 상관을 계산한다. Data-Construction-Skill은 구조 인지형 청크 분할, 청크별 정보 추출(정의·규칙·인과·예시), 세 가지 QA 유형(개념·추론·사례)의 적응적 생성, 그리고 스킬 레이어를 통한 출력 스키마·검증·필터링으로 구성된 파이프라인을 따른다. 생성 과정에서 문서 상대 표현 제거와 중복 제거, 청크별 처리 기록 보존을 수행해 장문 출처를 안정적으로 처리하고 재개 가능성을 확보한다. DAS는 텍스트 → 임베딩 → MMD 계산의 세 단계로 구현되며, 본 실험에서는 Qwen3-Embedding-8B(4096차원)를 인코더로 사용하고 각 후보에서 5,000개의 샘플을 무작위 추출해 Gaussian RBF 커널(σ=1.0)을 적용했다. 계산된 편향된 MMD 추정치의 제곱근값을 취하고 음수를 DAS로 사용해 분포 정렬 점수를 얻는다. 계산 복잡도 측면에서는 임베딩 크기와 샘플 수에 따라 O(n^2) 유사성 계산 비용이 병목이므로 실무 적용에서는 샘플 수 조정·미니배치 방식·근사 커널 기법을 고려해야 한다. MMD 수식의 원리와 계산 흐름은 다음과 같다. 원문 수식: MMD^2(P,Q)=E_{x,x'P}[k(x,x')] + E_{y,y'Q}[k(y,y')] - 2 E_{xP,yQ}[k(x,y)]. 여기서 x,y는 임베딩 벡터, k는 RBF 같은 양의 정부호 커널이며 기대값은 각 분포로부터의 두 표본 쌍에 대한 평균을 의미한다. 계산 흐름은 텍스트 샘플을 인코더 φ로 임베딩한 뒤 후보와 프록시 각각에서 샘플 쌍에 대해 커널 값을 계산하고 내부 평균과 교차 평균으로 위 식의 세 항을 평가해 최종 값을 얻는 것이다. 작은 숫자 예시는 다음과 같다: 후보와 프록시에서 각각 3개 샘플(간단화)을 임베딩해 커널 행렬 원소들의 평균이 각각 0.45, 0.40, 교차 평균이 0.30이면 MMD^2 ≈ 0.45 + 0.40 - 2*0.30 = 0.25이고 MMD ≈ 0.5이며 DAS는 -0.5가 된다. 해석상 MMD 값이 작을수록 후보가 프록시 분포에 더 가깝고 그만큼 다운스트림 유틸리티가 높을 가능성이 커진다.

논문에서 명시된 한계 중 하나는 도메인별 후보 풀의 구성 불균형이 평가 결과에 영향을 줄 수 있다는 점이다. 특히 Finance와 Law의 후보 풀은 인도메인 후보가 드물어 분포적 변별력이 제한되었고, 이로 인해 어떤 메트릭도 일관되게 높은 상관을 보이지 못했다. 또한 Data-Construction-Skill은 지식 추출에 강점을 보이지만 과학처럼 개방형 추론을 요구하는 도메인에서는 출력의 희박성이나 답안 스타일 차이로 인해 모든 경우에 우위를 점하지 못했다. 또 하나의 한계는 DAS가 임베딩 표현과 커널 선택에 민감하다는 점이다. 본 구현은 Qwen3-Embedding-8B와 RBF(σ=1.0)를 사용해 좋은 결과를 보였지만 다른 인코더·밴드폭 조합에서는 성능이 달라질 수 있다. 마지막으로 DAS 계산은 샘플 쌍에 대한 커널 합산으로 인해 계산 비용이 높아 후보당 대규모 샘플을 바로 사용하면 실무 비용이 커지므로 샘플 수 조정이나 근사화 기법이 필요하다.