데이터로 프로그래밍하기: 원시 말뭉치로부터 자가 개선되는 LLM을 위한 테스트 주도 데이터 엔지니어링

기존의 도메인 특화 Fine-tuning은 모델이 실패했을 때 어떤 학습 데이터가 문제인지 파악하기 어려운 '오픈 루프' 구조였습니다. 이 논문은 데이터 엔지니어링을 소프트웨어 개발 수명 주기와 매핑하여, 모델의 오류를 데이터 수준에서 진단하고 수정할 수 있는 '클로즈 루프' 시스템을 구축함으로써 전문 지식 전이의 신뢰성을 확보했습니다.

기존의 LLM 학습은 거대한 텍스트 뭉치를 Loss function을 통해 확률적으로 학습시키는 과정으로, 특정 지식의 누락이 모델의 어떤 가중치에 영향을 주었는지 알기 어려운 블랙박스 구조였다. 이는 소프트웨어 공학 초기에 테스트 없이 코드만 작성하던 방식과 유사하며, 오류 발생 시 무작정 데이터를 추가하는 비효율을 초래한다.

ProDa는 이를 해결하기 위해 지식의 Embedding 공간을 구조화된 그래프로 먼저 정의한다. 원문에서 개념(Node)과 관계(Edge)를 추출하여 '요구사항 명세서'를 만들고, 이를 바탕으로 학습 데이터(Source Code)와 벤치마크(Unit Test)를 동시에 생성한다. 이렇게 하면 모델이 특정 문제를 틀렸을 때, 해당 문제와 연결된 지식 그래프의 노드를 즉시 식별할 수 있다.

결과적으로 모델의 실패는 단순한 오답이 아니라 데이터의 '런타임 에러'로 취급된다. 개발자가 버그를 수정하듯, 식별된 지식 노드에 대해 보완 데이터를 생성하여 주입함으로써 모델의 성능을 체계적으로 개선한다. 이는 무분별한 데이터 증량 없이도 정밀한 성능 향상을 가능하게 한다.

ProDa 파이프라인은 Builder, Tester, Debugger의 세 가지 핵심 컴포넌트로 구성된다. Builder는 원시 말뭉치에서 L3(추론 체인) → L2(관계) → L1(개념) 순서의 Top-down 방식으로 지식을 추출한다. [비정형 텍스트 입력 → LLM 기반 계층적 추출 → 구조화된 지식 그래프 출력] 과정을 거치며, 이 과정에서 모든 하위 개념이 상위 추론 체인과 연결되도록 보장하여 고립된 지식(Orphan nodes)이 발생하지 않게 한다.

Tester는 추출된 L3 추론 체인을 기반으로 복합적인 추론 능력을 검증하는 벤치마크를 구축한다. [L3 체인 입력 → 논리적 단계별 오답 유도(Distractors) 생성 → 다지선다형 문제 출력] 순으로 작동하며, 단순 암기가 아닌 논리적 연결성을 평가하도록 설계된다. Debugger는 모델의 오답을 분석하여 '개념 격차(Concept Gap)' 또는 '추론 결핍(Reasoning Deficit)'으로 분류한다. [오답 사례 입력 → 지식 그래프 역추적 → 결함 노드 식별 → 맞춤형 데이터 패치 생성] 과정을 통해 모델을 반복적으로 개선한다.

16개 학문 분야에 대한 실험 결과, ProDa를 통해 학습된 32B 규모의 오픈소스 모델이 단 한 번의 디버깅 반복만으로 GPT-5.4, Gemini-3-flash 등 상용 모델의 성능을 능가하는 결과를 보였다. 특히 Qwen-3-32B-V2 모델은 16개 분야 평균 79.52%의 정확도를 기록하며 모든 Instruct 모델의 성능을 상회했다.

샘플 효율성 측면에서도 압도적인 성과를 보였다. 단 1,000개의 정밀 타겟팅된 패치 데이터만으로도 기존의 무작위 데이터 증량 방식보다 높은 성능 향상을 달성했다. 또한, 도메인 특화 학습 시 발생하는 일반 능력 저하(Catastrophic Forgetting) 문제도 디버깅 단계에서의 데이터 리플레이 전략을 통해 효과적으로 억제하여 MMLU 등 일반 벤치마크 점수를 유지하거나 오히려 개선했다.

ProDa의 핵심 아키텍처는 지식 구조를 요구사항 명세로 활용하는 'Closed-loop' 시스템이다. L1 Key Concepts는 도메인의 원자적 어휘를 정의하고, L2 Knowledge Relations는 개념 간의 인과, 전제, 대비 관계를 트리플(Subject, Relation, Object) 형태로 인코딩한다. L3 Reasoning Chains는 여러 L1/L2를 통과하는 다단계 추론 경로를 명시한다.

구현 측면에서 CORE 원칙(Contextualized, Organized, Rigorous, Evolving)을 준수한다. 특히 Rigorous 표준은 벤치마크 생성 시 의미적으로 유사한 개념을 활용한 'Adversarial Distractors'를 생성하여 모델이 단순한 키워드 매칭이 아닌 실제 논리 구조를 이해하도록 강제한다. 학습 시에는 LoRA(Low-Rank Adaptation)를 사용하여 효율적인 파라미터 업데이트를 수행하며, 디버깅 시에는 이전 라운드에서 정답을 맞힌 데이터를 일부 포함하는 'Experience Replay'를 통해 지식의 일관성을 유지한다.

논문은 정적 데이터 합성의 한계로 인해 한 번의 컴파일(V1 단계)만으로는 모든 개념적 사각지대를 제거할 수 없음을 명시했다. 또한, 매우 긴 단계의 추론이 필요한 경우나 인간의 선호도가 개입되어야 하는 RLHF 영역을 완전히 대체하기에는 추가적인 연구가 필요함을 언급했다.