DecoEvo: 점수 분리형 루브릭·솔버 공동진화

열린 형식의 과제에서는 단일 고정 루브릭이 평가 축을 빠르게 소진해 남은 실패 양상이 루브릭 밖으로 옮겨갈 수 있고, 생성기를 솔버 점수로 갱신하면 루브릭 자체가 풀이 쉬운 기준으로 기울어질 위험이 있다. DecoEvo는 이 두 문제를 동시에 다루기 위해 솔버 스킬과 루브릭 생성기 스킬을 분리된 목표로 공동 운용하되 생성기 수용 조건에서 집계 점수 변화를 배제하는 점수 분리 원칙을 적용한다. 이렇게 하면 루브릭 개선이 현재 솔버의 약점 노출을 확장하는 방향으로 축적되어 외부 금루브릭(골드 루브릭) 기준에서 실질적 품질 향상으로 이어질 가능성이 높아진다.

텍스트 공간에서 루브릭을 고정한 채 솔버 스킬만 최적화하면 루브릭이 측정하는 축에 솔버가 특화되어 남은 실패가 루브릭 밖으로 이동할 수 있다. 반대로 생성기를 솔버의 집계 점수로 갱신하면 생성기는 현재 솔버가 이미 잘하는 기준을 강화해 프록시 점수를 인위적으로 올릴 가능성이 커진다. DecoEvo는 내부 루프에서 기준 단위 피드백으로 솔버 스킬을 갱신하고 외부 루프에서 작업 기반 구조적 감사와 루브릭-블라인드 근접 동점 대비 감사를 통해 생성기 수정을 찾되, 생성기 수용 기준에서 집계된 솔버 점수 변화를 배제함으로써 진정한 품질을 더 잘 드러내는 평가 축을 누적하도록 유도한다.

DecoEvo는 동일한 고정 백본을 여러 역할로 호출하되 역할별로 다른 프롬프트와 목표를 부여해 두 개의 편집 가능한 자연어 스킬을 유지한다. 내부 루프는 훈련 풀에서 배치를 뽑아 현재 생성기가 만든 질문별 루브릭으로 응답을 채점하고, 기준별 실패 근거를 모아 솔버 스킬 재작성기가 재사용 가능한 전략 수정안을 생성하면 보류 검증 세트의 쌍비교로 수용 여부를 결정한다. 외부 루프는 K 내적 단계 또는 연속 거부 M이 발생했을 때 실행되며, 구조적 감사는 작업 설명 기반으로 누락 요구를 찾고 대비 감사는 근접 동점 쌍을 루브릭 없이 판정해 구별 실패를 찾아낸다. 감사 기록을 재작성기에 증류해 생성기 후보를 만들고, 생성기 검증 세트에서 가용한 감사 목적들에 대해 파레토식 기준(최소 하나 개선, 다른 목적의 퇴보 허용 한계 내)을 만족하면 생성기를 갱신한다.

종합 실험에서 DecoEvo는 세 가지 백본과 다섯 벤치마크의 모든 조합(총 15개)에서 비교 대상보다 높은 평균 점수를 기록했다. GPT-4o 기준 SkillOpt 대비 평균 상대 이득은 5.0%로 3.10포인트, Qwen3-4B는 2.9%(1.74포인트), Qwen3-8B는 2.8%(1.78포인트) 향상되었다. SC-CoEvo는 생성기 수용을 집계 점수에 의존한 결과 일부 케이스에서 성능이 악화되었고, 전이 실험에서도 DecoEvo는 루브릭 없이 전이 벤치에서 일관된 이득을 유지해 생성기 축적이 솔버 스킬의 재사용성을 높였음을 시사한다.

모형 출력 r_q(s)와 생성된 루브릭 R_q(g)={(c_i,w_i)}{i=1}^{m_q}에 대해 기준별 점수 e(q,r,c_i)∈[0,1]을 계산하고 루브릭 점수는 $S(q,r,R)=\frac{\sum_i w_i e(q,r,c_i)}{\sum_i w_i}$로 정의한다. 내부 루프는 훈련 풀에서 배치별 루브릭 점수와 실패 근거를 수집해 솔버 재작성기가 s'를 생성하면 검증 집합 𝒱_s에서 $J_{\mathcal{V}_s}(s',g_t)>J_{\mathcal{V}_s}(s_t,g_t)+\varepsilon$ 를 만족할 때 수용한다. 외부 루프의 구조적 감사는 작업 사양 π_str^τ, 질문 q, 생성 루브릭을 입력으로 적절성 점수 u_q∈[0,1], 근거 ξ_q, 수리 제안 κ_q를 출력하며 대비 감사는 L개 롤아웃 중 점수 차가 τ_tie 이하인 쌍을 골라 루브릭 없이 우선도 y{qij}와 근거 ξ_{qij}를 고정한 뒤 루브릭 기반 마진 m_g(p)=S(q,r^+,R_q(g))−S(q,r^−,R_q(g))를 계산한다. 생성기 후보는 보류 검증 집합 𝒱_g에서 구조적 적합성 Φ_str(g)와 대비 해상 Φ_ctr(g) 중 적어도 하나가 δ 이상 개선되고 다른 목표는 −η 이상으로 퇴보하지 않을 때 수용된다.

실험은 동일 백본이 감사자·생성기·솔버 역할을 모두 수행하는 설정에 제한되어 있어, 다른 백본을 역할별로 분리한 경우의 거동은 확인되지 않았다. 평가 도메인은 주로 의학·창작·연구 질의로 국한되어 있어 타 도메인(예: 코드 작성, 멀티모달)에 대한 일반화성은 미검증 상태다. 또한 감사 자동화 수준은 고성능 LLM 판별자의 판단에 의존하므로 인간 심사와의 추가 교차검증과 실제 사용자 중심 평가가 필요하다.