협업형 단계별 다중 교사 디코딩을 통한 Long-CoT 추론 증류

CoRD는 Long-CoT 추론 데이터를 효과적으로 distill하는 방법으로, 상호 보완적 신호를 활용해 학생 모델의 성능을 교사 수준으로 끌어올릴 수 있다. 또한 open-domain 및 out-of-domain 설정에서도 일반화된다.

• 수학 문제 해결에서 긴 추론 경로를 효율적으로 distill하여 작은 모델의 문제 해결 능력 향상
• 오픈 엔드 의학/생물학 도메인에서 긴 설명형 답변의 정확도 향상
• 도메인 간 일반화를 위한 단계별 추론 데이터 증류 파이프라인 구축
• 프롬프트 엔지니어링 없이도 다중 LRMs의 협력을 통한 추론 데이터 확장

코드 공개 여부: 공개

단계 세분화(Step Segmentation)

— Long-CoT 추론에서 여러 LRMs가 제시하는 단계들을 의미 있게 구분하고 표준화된 프롬프트 마커를 통해 협업적 추론을 가능하게 하는 기법으로, 모델 간 비교 및 결합을 용이하게 한다.

예측 퍼플렉시티(Predictive Perplexity)

— Ground-truth 정답이 주어진 조건부 맥락에서 확률적으로 얼마나 잘 예측되는지에 대한 척도이며, 후보 단계의 상호 적합성과 진행의 일관성을 판단하는 로컬 신호를 제공한다.

빔 탐색(Beam Search)

— 여러 후보를 병렬로 확장하고 상위 B 경로를 유지함으로써 초기 선택의 실패를 보정하고 장기적으로 더 나은 추론 경로를 보존하는 탐색 기법이다.

다중 교사 증류(Multi-Teacher Distillation)

— 여러 LRMs로부터의 추론 신호를 단계적으로 통합해 교사 간 보완을 활용하는 데이터 증류 프레임워크로, 단일 교사 대비 성능과 일반화 능력을 향상시킨다.