뿌리 찾기: 포스트 트레이닝 LLM의 데이터 계보 규명을 위한 멀티 에이전트 프레임워크

현대 LLM 학습 데이터는 기존 데이터셋을 재가공하거나 합성하여 만들어지지만 그 계보가 불투명해 데이터 중복과 평가 오염 문제가 심각하다. 이 논문은 멀티 에이전트를 활용해 데이터셋 간의 상속 관계를 자동으로 시각화하고, 이를 통해 데이터 다양성을 극대화하는 새로운 구축 방법론을 제시한다.

LLM의 성능은 포스트 트레이닝 데이터에 크게 의존하지만, 대부분의 데이터셋은 완전히 새로 만들어지는 것이 아니라 기존 데이터를 Embedding 공간에서 변형하거나 LLM으로 다시 쓰는 과정을 거친다. 이 과정에서 데이터셋들은 서로 얽힌 계보를 형성하게 되는데, 이를 무시하고 데이터를 단순히 합치면 동일한 정보가 반복 학습되어 모델의 유효 용량이 줄어들고 특정 벤치마크에 과적합되는 문제가 발생한다.

이 논문은 데이터셋을 고립된 개체가 아닌 진화하는 그래프의 노드로 정의한다. Sourcing Agent가 문서에서 출처를 찾고, Tracing Agent가 관계를 추출하며, Aggregation Agent가 이를 통합하여 전체 생태계의 지도를 그린다. 이는 마치 생물의 계통도를 그리듯 데이터의 유전적 흐름을 파악하는 원리이다.

결과적으로 데이터의 '뿌리'인 루트 노드를 식별함으로써, 파생 과정에서 발생하는 노이즈와 중복을 제거할 수 있다. 수치적으로는 1.2M 규모의 거대 데이터셋보다 계보를 고려해 정교하게 샘플링한 570K 데이터셋이 더 높은 Vendi Score(다양성 지표)를 기록하며, 데이터의 양보다 구조적 투명성이 성능에 더 중요함을 입증한다.

멀티 에이전트 프레임워크는 4단계 파이프라인으로 구성된다. 첫째, Candidate Validation 단계에서 Hugging Face API와 논문 출판일을 대조하여 데이터셋의 유효성을 검증하고 2020년 이후 릴리스된 데이터로 대상을 한정한다. 둘째, Multi-source Information Retrieval 단계에서 Sourcing Agent가 README, GitHub, arXiv 논문을 수집하고 노이즈를 제거하여 통합 리소스 컨텍스트를 구축한다.

셋째, Semantic Source Inference 단계에서 Tracing Agent가 컨텍스트를 분석하여 실제 소스 데이터셋을 식별한다. 이때 [텍스트 증거 입력 → LLM 추론 → JSON 형태의 <소스, 관계, 신뢰도, 근거> 출력] 과정을 거쳐 데이터 간의 상속 관계를 정형화한다. 넷째, Aggregation 및 Resolution 단계에서 별칭을 표준 ID로 변환하고 시간 순서가 맞지 않는 관계를 필터링하여 최종 계보 그래프를 완성한다.

그래프 구축 후에는 Depth-First Search(DFS)를 통해 루트 노드(상위 소스가 없는 노드)를 탐색한다. 데이터 큐레이션 시에는 [루트 노드 선택 → 도메인 메타데이터 및 Out-degree 기반 우선순위 지정 → MinHash 중복 제거 → 최종 데이터셋 생성] 알고리즘을 적용하여 의미적 다양성을 극대화한다.

83개의 핵심 데이터셋에서 시작하여 총 430개의 고유 데이터셋과 971개의 상속 관계를 포함하는 거대 그래프를 구축했다. 분석 결과, 일반 도메인 데이터셋은 평균 깊이 1.05의 얕은 구조를 보였으나, 수학 도메인은 평균 깊이 2.92로 매우 깊은 수직적 정제 과정을 거치는 것으로 나타났다. 특히 open-instruct-v1 데이터셋은 상위 소스를 중복 포함하여 46.48%의 심각한 구조적 중복률을 보였다.

벤치마크 오염 분석에서는 19개 데이터셋에서 광범위한 유출이 확인되었다. Caco-1.3M 데이터셋은 명시적으로 포함하지 않았음에도 상위 소스를 통해 Omni-Math 샘플의 37.95%를 암시적으로 상속받고 있었다. 제안된 계보 기반 샘플링으로 구축된 570K 규모의 데이터셋은 Vendi Score 452.44를 기록하여, 1.2M 규모의 MegaScience(373.78)나 OpenThoughts3(133.26)보다 훨씬 높은 다양성을 입증했다.

본 연구는 데이터셋 간의 관계를 유향 그래프(Directed Graph) G=(V, E)로 모델링하며, 노드는 내부 노드(Internal Node)와 리프 노드(Leaf Node)로 구분된다. 아키텍처는 LangChain을 기반으로 오케스트레이션되며, 고성능 추론을 위해 GPT-5.1과 Gemini 2.5 Flash를 에이전트 엔진으로 사용한다. 특히 환각(Hallucination) 방지를 위해 신뢰도 기반의 전문가 검증 프로토콜을 도입하여 저신뢰도 추출 결과는 수동 검토로 라우팅한다.

데이터 다양성 측정에는 Vendi Score를 사용하며, 이는 커널 행렬 K의 정규화된 고윳값 λ에 대해 exp(-Σ λ log λ)를 계산하여 데이터의 유효 클러스터 수를 산출하는 방식이다. 또한 고차원 임베딩 공간에서의 기하학적 분산을 측정하기 위해 Centroid Distance를 병행 사용한다. 구현 상세에서는 Q-matching과 MinHash(128 hash permutations, threshold 0.7)를 결합한 2단계 중복 제거 공정을 통해 데이터의 순도를 높였다.

LLM을 기반으로 계보를 추출하므로 모델 고유의 환각 위험이 존재하며, 이를 보완하기 위해 저신뢰도 데이터에 대한 인간의 검증이 필수적이다. 또한, 데이터 제작자가 기술 문서에서 상위 소스를 의도적으로 숨기거나 보고하지 않을 경우 문서 기반의 계보 재구축 시스템으로는 이를 복구할 수 없다는 한계가 있다.