Themis: 유연한 다기준 평가를 위한 강건한 다국어 코드 보상 모델 학습

기존의 코드 생성 AI는 단순히 테스트 케이스 통과 여부(정확성)만으로 평가받아 왔으나, 실제 소프트웨어 개발에서는 실행 속도, 메모리 효율성, 보안성이 매우 중요합니다. 이 논문은 코드의 5가지 핵심 품질 기준을 다국어 환경에서 동시에 평가할 수 있는 세계 최대 규모의 데이터셋과 보상 모델을 공개하여, 더 안전하고 효율적인 AI 코딩 도구 개발의 토대를 마련했습니다.

기존 코드 생성 모델의 정렬(Alignment)은 주로 '테스트 케이스 통과'라는 이진 피드백에 의존해 왔습니다. 이는 딥러닝의 기초인 Gradient Descent 과정에서 정답과 오답 사이의 미세한 품질 차이를 반영하기 어렵게 만들며, 특히 실행 불가능한 코드 조각이나 외부 라이브러리 의존성이 높은 실제 개발 환경의 코드를 평가하는 데 한계가 있습니다.

Themis는 이러한 한계를 극복하기 위해 코드의 의미적 특징을 벡터 공간(Embedding)에서 파악하는 보상 모델(Reward Model) 방식을 채택합니다. 단순히 실행 결과만 보는 것이 아니라, 모델이 코드의 구조와 맥락을 이해하여 '더 효율적인 알고리즘'이나 '더 안전한 함수'를 선호하도록 학습시킵니다.

특히 다중 작업 학습(Multi-task Learning)에서 발생하는 기준 간 간섭 문제를 해결하기 위해 시스템 프롬프트를 활용한 조건부 학습 전략을 사용합니다. 이를 통해 하나의 모델이 정확성이라는 기초 개념을 바탕으로 보안성이나 가독성 같은 고차원적인 기준들을 독립적이면서도 상호 보완적으로 평가할 수 있게 됩니다.

Themis-RM의 학습은 두 단계로 진행됩니다. 첫 번째 단계인 선호도 모델 사전 학습(PT)에서는 일반적인 인간의 선호도(도움됨, 무해함 등)를 이해시키기 위해 11만 개 이상의 자연어 및 코드 혼합 데이터를 사용합니다. 두 번째 단계인 선호도 모델링(PM)에서는 35만 개의 코드 전용 선호도 데이터를 통해 5가지 핵심 품질 기준을 집중적으로 학습시킵니다.

핵심 메커니즘은 Bradley-Terry 목적 함수를 기반으로 한 스칼라 보상 모델링입니다. [입력 프롬프트와 두 개의 답변 후보 → 보상 모델 연산 → 각 답변에 대한 스칼라 점수 출력] 과정을 거치며, 선택된 답변의 점수가 거절된 답변보다 높게 책정되도록 가중치를 갱신합니다.

학습의 안정성을 위해 세 가지 손실 함수를 결합합니다. 첫째, 두 답변의 점수 차이를 최대화하는 로그 시그모이드 손실, 둘째, 모델이 언어 생성 능력을 잃지 않도록 돕는 조건부 언어 모델링 손실(Conditional LM Loss), 셋째, 보상 점수가 너무 극단적으로 치우치지 않도록 제한하는 보상 크기 규제(Reward Magnitude Regularizer)를 적용합니다. [보상 모델의 출력값 → 제곱 연산 및 계수 곱셈 → 손실 함수 합산]을 통해 모델의 출력 범위를 일정하게 유지합니다.

Themis-RM 32B 모델은 Themis-CodeRewardBench의 모든 기준에서 기존 모델들을 압도했습니다. 특히 기능적 정확성(FC)에서 94.27%의 정확도를 기록했으며, 기존 모델들이 무작위 수준(약 50%)에 머물렀던 보안성(94.55%)과 메모리 효율성(95.16%) 등 비기능적 지표에서도 탁월한 성능을 보였습니다.

Ablation Study 결과, 사전 학습(PT) 단계와 보상 크기 규제(AuxLoss)가 모델의 강건성 향상에 필수적임이 확인됐습니다. 특히 FC 데이터로만 학습했을 때보다 5가지 기준을 모두 학습했을 때 각 기준별 성능이 더 높게 나타나, 품질 기준 간의 긍정적인 전이 효과가 존재함을 입증했습니다.

다국어 성능 분석에서는 Python으로 학습된 모델이 동적 타이핑 언어(JavaScript, Ruby)로 잘 전이되고, Java로 학습된 모델이 정적 타이핑 언어(C#, C++)로 잘 전이되는 경향을 보였습니다. 최종적으로 모든 언어를 통합 학습했을 때 가장 안정적이고 높은 성능을 달성했습니다.

Themis-RM은 Qwen3 Dense 모델 아키텍처를 기반으로 하며, 600M부터 32B까지 다양한 크기로 제공됩니다. 모든 모델은 bfloat16 정밀도로 학습되었으며, Flash Attention v2와 FSDP(Fully Sharded Data Parallel)를 적용하여 대규모 학습 효율을 확보했습니다.

데이터 구축 과정에서 ModernBERT 기반의 커밋 분류기를 학습시켜 GitHub의 방대한 커밋 중 특정 품질 기준(예: 보안 패치, 성능 최적화)에 부합하는 고품질 데이터를 정교하게 추출했습니다. 또한, 기존 데이터셋에 질문이 없는 경우 LLM을 이용해 역으로 질문을 생성하는 Inverse-Instruct 기법을 적용하여 데이터의 밀도를 높였습니다.

모델의 강건성을 위해 Aletheia-Adv와 같은 적대적 공격 데이터셋에서도 평가를 진행했습니다. 실험 결과 Themis-RM은 모델 크기가 커질수록 적대적 공격에 대한 방어력이 선형적으로 증가하는 Scaling Law를 따르는 것으로 나타났으며, 이는 단순한 패턴 매칭이 아닌 코드의 논리적 구조를 깊이 있게 이해하고 있음을 시사합니다.

Themis-CodeRewardBench는 고자원 및 중급 자원 언어 8개에 집중되어 있어, 저자원 프로그래밍 언어에 대한 성능은 아직 검증되지 않았습니다. 또한, GitHub 커밋 데이터의 특성상 2019년 3월 이전의 데이터로 학습 기간이 제한되어 있어 최신 라이브러리나 프레임워크의 변화를 완벽히 반영하지 못할 수 있습니다.