금융 분야의 데이터 가치 극대화: 증류 및 난이도 인지 학습에 관한 연구

금융 도메인은 전문 용어가 밀집되어 있고 엄격한 수치 추론을 요구하여 일반적인 언어 모델 적용이 매우 어렵다. 이 논문은 모델 크기를 무작정 키우는 대신, 고품질 추론 데이터의 증류와 난이도 기반 선별이라는 데이터 중심 접근법을 통해 효율적인 금융 특화 AI 구축의 이정표를 제시한다.

기존의 금융 AI 연구는 단순히 방대한 양의 금융 텍스트를 학습시키는 모델 중심 방식에 치중했다. 그러나 금융 데이터는 노이즈가 많고 복잡한 수치 계산을 포함하고 있어, 단순한 정답 매칭 학습은 모델이 논리적 추론 대신 데이터의 통계적 패턴만 따르는 지름길 현상을 유발한다.

이 논문은 모델이 정답에 도달하는 '생각의 과정(Chain-of-Thought)' 자체를 고성능 모델로부터 증류하여 학습시키는 방식을 취한다. 특히 SFT 단계에서 깨끗한 추론 데이터를 주입해 논리적 기초를 다지고, RL 단계에서는 모델이 실제로 틀리는 어려운 문제들을 집중적으로 학습시켜 복잡한 금융 분석 능력을 강화한다.

결과적으로 파라미터 수를 늘리지 않고도 데이터의 추론 밀도를 높임으로써, 금융 도메인에서 요구되는 엄격한 정확도와 논리적 일관성을 동시에 확보한다.

데이터 증류 파이프라인은 의미론적 중복 제거 후 Qwen3-235B-Thinking 모델을 사용하여 단계별 추론 과정을 생성한다. 생성된 데이터는 CompassVerifier-7B와 같은 검증 모델을 통해 논리적 일관성과 팩트 정확도가 필터링되어 ODA-Fin-SFT-318k로 구성된다.

강화학습을 위한 데이터 선택은 SFT 완료 모델을 활용한 난이도 측정을 기반으로 한다. [입력 데이터 → SFT 모델 추론 4회 수행 → 오답 발생 횟수 계산 → 실패율 0.5 이상인 샘플 선택] 과정을 거쳐 모델이 실제로 어려워하는 지점을 식별한다.

보상 메커니즘은 형식 보상과 정확도 보상의 곱으로 정의된다. [생성 텍스트 → <think> 태그 구조 확인(R_fmt) → 정답 추출 및 검증(M_outcome) → R = R_fmt * M_outcome] 순으로 연산하여 모델이 논리적 구조를 유지하면서도 정확한 답을 내도록 유도한다. GRPO 알고리즘을 사용하여 별도의 가치 모델 없이 그룹 내 상대적 보상으로 정책을 최적화한다.

ODA-Fin-RL-8B는 9개 금융 벤치마크 평균 74.6%를 기록하며 동급 8B 모델 중 최고 성능을 달성했다. 특히 수치 추론 능력을 평가하는 FinQA(73.3%)와 TaTQA(89.3%)에서 기존 모델 대비 압도적인 향상을 보였다.

Ablation Study 결과, 단순 원시 데이터 학습은 모델 성능을 오히려 저하시키는 결과를 초래했다. 반면 증류된 CoT 데이터로 전체를 교체했을 때 가장 높은 성능 향상이 관찰되어 데이터 품질의 중요성을 입증했다.

RL 단계에서의 답변 길이 제한 실험에서는 16 토큰 이내의 짧고 명확한 정답을 가진 데이터를 선별했을 때 보상 신호의 정밀도가 가장 높았으며, 이는 모델의 전반적인 금융 추론 성능 향상으로 이어졌다.

연구의 핵심은 데이터 계층 구조(Data Hierarchy)의 정의에 있다. SFT 단계에서는 데이터 순도(Purity)와 고품질 추론 경로가 기초 체력을 형성하며, RL 단계에서는 난이도(Difficulty)와 검증 가능성(Verifiability)이 모델의 성능 천장을 뚫는 핵심 동인임을 명시한다.

강화학습에는 GRPO(Group Relative Policy Optimization)를 채택하여 PPO 대비 계산 자원을 절약하면서도 금융 도메인의 복잡한 정렬 작업을 수행한다. 보상 함수는 수식 R = R_fmt * M_outcome을 통해 형식적 무결성과 내용적 정확성을 동시에 강제한다.

검증 가능성 필터링 전략은 RL 학습 시 보상 신호의 노이즈를 제어하기 위해 정답이 짧고 명확하게 추출될 수 있는 샘플로 데이터를 제한한다. 이는 보상의 정밀도와 작업의 다양성 사이의 최적의 균형점(16-token constraint)을 찾는 과정으로 구현되었다.

일반 수학 데이터(DeepMath)나 일반적인 CoT 데이터를 금융 데이터와 혼합했을 때 성능이 오히려 하락하는 부정적 전이(Negative Transfer)가 관찰되었다. 이는 금융 추론이 일반 논리와는 다른 고유의 회계 기준이나 컨벤션을 따르기 때문이며, 도메인 특화 데이터 큐레이션의 중요성을 시사한다.