FlowBalance: 검증기로 조율한 추론 자기개선

왜 중요한가

온폴리시 추론에는 신뢰할 수 있지만 희소한 최종 검증 보상과 조밀하지만 오류가 섞인 자기지도가 함께 존재합니다. FlowBalance는 검증기 우위를 기준으로 자기지도의 방향을 유지하거나 반전해 실패 응답의 과신을 억제하면서, Qwen3-8B에서 GRPO보다 AIME24 검증 정확도 0.5에 약 43스텝 빠르게 도달했습니다.

핵심 기여

검증기 기반 분포형 자기개선 목표

온폴리시 응답 그룹의 검증기 어드밴티지와 특권적 사후 자기지도 점수를 하나의 궤적 에너지로 결합하고, 완전한 응답에 대한 정규화된 목표분포를 학습합니다. 별도의 토큰 수준 모방 손실 없이 trajectory balance로 정책을 갱신합니다.

실패 응답의 자기확인 방지

그룹 상대 어드밴티지가 양수이면 자기지도를 유지하고 음수이면 자기지도 항의 방향을 반전하며 0이면 비활성화합니다. 그 결과 검증에 실패했지만 사후 정보로 높은 점수를 받은 응답이 다음 업데이트의 자기강화 신호가 되는 경로를 차단합니다.

기준 정책에 대한 보수적 분포 이동

그룹별 partition 추정치는 공통 오프셋 하나만 흡수하고 응답 사이의 N-1개 상대 확률 대비를 보존합니다. 목표 에너지 수준을 달성하는 분포 중 기준 정책과의 reverse-KL 이동이 가장 작은 목표분포라는 성질을 확보합니다.

정확도와 성공 전략 다양성 개선

Qwen3-4B와 Qwen3-8B의 수학 추론 실험에서 FlowRL보다 네 가지 핵심 벤치마크 평균이 각각 1.67점과 1.98점 높았습니다. AIME24 정답 응답의 Simpson 전략 다양성도 FlowBalance 0.2194로 GRPO 0.1017과 RLSD 0.1456보다 높았습니다.

핵심 아이디어 이해하기

기존 RLVR은 한 응답을 끝까지 생성한 뒤 최종 정답 여부로 보상을 계산합니다. 따라서 결과가 맞았는지는 분명하지만, 긴 풀이의 어느 부분이 유용했는지는 토큰별로 알려주지 못합니다. 반대로 특권적 사후 관점은 정답 풀이 또는 피드백을 본 뒤 이미 생성한 각 토큰의 확률을 다시 계산해 조밀한 신호를 만들지만, 틀린 응답의 그럴듯한 풀이에도 높은 점수를 줄 수 있습니다.

FlowBalance는 같은 프롬프트에서 생성한 N개 응답을 하나의 그룹으로 묶고, 검증기 보상을 그룹 평균과 표준편차로 정규화해 각 응답의 상대적 우위를 계산합니다. 동시에 학습 중에만 추가 문맥을 본 frozen policy가 같은 토큰들의 log-probability 변화를 계산하고, 이를 응답 전체의 평균 자기지도 점수로 집계합니다. 입력은 응답·검증 보상·사후 토큰 점수이고, 출력은 각 완전 응답의 에너지입니다.

핵심은 자기지도 점수의 방향을 검증기 결과에 종속시키는 것입니다. 어드밴티지가 양수인 응답에서는 자기지도 점수를 더해 해당 응답의 확률을 높이고, 음수인 응답에서는 같은 점수를 빼서 자기지도가 높아도 확률을 낮춥니다. 어드밴티지가 0이면 dense branch를 끕니다. 이렇게 하면 사후 정보가 검증기의 판단을 대체하지 않고, 검증기가 선택한 방향 안에서만 세부 선호를 조정합니다.

그 다음 기준 정책의 응답 확률에 에너지의 지수 가중치를 곱해 목표분포를 만들고, trajectory balance로 현재 정책이 이 분포를 따르도록 학습합니다. 온도 τ가 작을수록 에너지 차이가 확률에 강하게 반영되고, 기준 정책은 업데이트가 지나치게 멀어지지 않도록 지지집합과 변화량을 제한합니다. 따라서 한 가지 풀이만 과도하게 복제하기보다 검증된 여러 완전 응답에 확률 질량을 배분할 수 있습니다.

방법론

각 프롬프트 x에 대해 현재 정책의 frozen snapshot이 응답 그룹 $\mathcal{G}=(y^{(1)},\ldots,y^{(N)})$ 을 생성합니다. 응답 i의 최종 보상 $R_i$ 를 검증기로 계산한 뒤, 그룹 평균 $\mu_R(x)$ 와 표준편차 $\sigma_R(x)$ 를 사용해 $A_i=(R_i-\mu_R(x))/(\sigma_R(x)+\epsilon)$ 을 구합니다. 보상·그룹 통계·응답·어드밴티지는 모두 gradient를 차단해 정책 업데이트의 입력 신호로만 사용합니다.

학습 전용 문맥 c를 본 frozen hindsight view는 생성된 토큰을 다시 샘플링하지 않고 채점합니다. 토큰 t에서 기준 정책 대비 log-probability 차이를 $\delta_t^H=clip(\log\pi_H(y_t|s_t,c)-\log\pi_{ref}(y_t|s_t),-B,B)$ 로 계산하고, 전체 T개 토큰의 평균 $G_H=(1/T)\sum_t\delta_t^H$ 를 응답 수준 자기지도 점수로 만듭니다. 양의 값은 사후 관점이 해당 응답 토큰을 기준 정책보다 높게 평가했음을 뜻하지만, 이 값 자체는 검증된 정답 신호가 아닙니다.

FlowBalance 에너지는 $E_i=\eta_A A_i+\beta_G G_H(y^{(i)}|x,c)\operatorname{sgn}(A_i)$ 입니다. 양의 어드밴티지에서는 $G_H$ 가 그대로 더해지고, 음의 어드밴티지에서는 부호가 반전되며, 0에서는 자기지도 항이 사라집니다. 예를 들어 실패 응답의 $G_H$ 가 0.5라면 ungated 방식은 그 응답을 강화할 수 있지만, FlowBalance는 해당 항을 음의 방향으로 바꿔 성공 응답과의 확률비를 조정합니다.

각 응답의 목표 확률은 $p_i^*\propto\pi_{ref}(y^{(i)}|x)\exp(E_i/\tau)$ 로 계산합니다. 기준 정책 확률에 에너지 지수값을 곱한 뒤 그룹 내 합으로 나누어 확률 질량을 보존합니다. 학습 시에는 그룹별 log partition을 각 응답의 에너지와 현재 정책-기준 정책 log-ratio로 추정하고, trajectory-balance 잔차 $\Delta_{TB}=\tau\log Z+\tau\log(\pi_\theta/\pi_{ref})-E$ 의 제곱 평균을 최소화합니다.

본 실험은 완전 응답 trajectory balance 구현을 사용했습니다. 논문에는 중간 상태의 continuation partition을 이용한 subtrajectory balance도 정의되어 있지만, 긴 응답의 토큰 구간을 더 조밀하게 학습하는 확장 방식으로 다뤄집니다. 실제 업데이트 gradient는 현재 학습 정책의 sampled-response log probability에만 흐르고, 검증기·자기지도 점수·partition 추정치에는 흐르지 않습니다.

주요 결과

수학 추론에서 다섯 벤치마크의 step-180 평균은 Qwen3-4B에서 FlowBalance 64.26으로 GRPO 62.31, OPSD 54.12, RLSD 59.55, FlowRL 63.22보다 높았습니다. Qwen3-8B에서는 FlowBalance 67.61로 GRPO 65.49, OPSD 41.16, RLSD 64.12, FlowRL 65.85를 앞섰습니다. Qwen3-8B의 개별 평균은 AIME24 89.33, HMMT25 34.67, Minerva 53.68, MATH500 93.52, OlympiadBench 66.85였습니다.

Qwen3-8B에서 FlowBalance는 AIME24 validation accuracy 0.5에 약 100스텝 만에 도달했고 GRPO는 약 143스텝이 필요했습니다. 400스텝 동안 FlowBalance는 최고 성능 부근을 유지했지만 GRPO는 약 180스텝 이후 급격히 낮아졌습니다. 직접 OPSD는 응답 길이가 빠르게 짧아졌으나 FlowBalance는 긴 추론 궤적을 유지했습니다. 다만 논문은 긴 응답 자체가 정확도의 원인이라고 결론내리지는 않습니다.

자기지도 계수 β_G를 1에서 3으로 높이면 Qwen3-8B의 AIME24가 89.33에서 86.00으로, HMMT25가 34.67에서 30.00으로 낮아졌습니다. 따라서 성능 향상은 dense 신호를 강하게 만드는 데 있지 않고 검증기 결과로 그 방향을 조율하는 데 있습니다. 통제된 AIME24 진단에서 정답 전략의 Simpson 다양성은 FlowBalance 0.2194, GRPO 0.1017, RLSD 0.1456으로 측정됐습니다.

기술 상세

FlowBalance의 목표분포는 기준 정책과 에너지의 지수 tilt를 결합합니다. $p^*(y|x,c)=\frac{1}{Z(x,c)}\pi_{ref}(y|x)\exp(E(y|x,c)/\tau)$ 에서 $\pi_{ref}$ 는 기준 정책, E는 중단된 궤적 에너지, τ>0은 온도, Z는 모든 완전 응답에 대한 정규화 상수입니다. 입력 응답의 기준 확률과 에너지를 곱하고 Z로 나누면 합이 1인 출력 분포가 됩니다.

실제 그룹에서는 $E_i=\eta_AA_i+\beta_GG_{H,i}\operatorname{sgn}(A_i)$ 를 사용합니다. $\eta_A$ 는 검증기 어드밴티지의 비중, $\beta_G$ 는 자기지도 비중, $A_i$ 는 그룹 내 결과 우위, $G_{H,i}$ 는 사후 관점의 평균 토큰 log-probability gain입니다. $A_i>0$ 이면 자기지도 점수가 에너지를 높이고, $A_i<0$ 이면 같은 점수가 에너지를 낮추며, $A_i=0$ 이면 dense branch가 작동하지 않습니다.

trajectory-balance 잔차는 $\Delta_{TB}=\tau\log Z+\tau\log(\pi_\theta(y|x)/\pi_{ref}(y|x))-E(y|x,c)$ 입니다. 잔차가 0이면 두 응답 a와 b의 현재 정책 확률비는 기준 정책 확률비에 $\exp((E_a-E_b)/\tau)$ 를 곱한 값이 됩니다. 예를 들어 두 응답의 에너지 차이가 양수이면 a의 상대 확률이 증가하고, τ를 낮추면 같은 에너지 차이가 더 큰 확률비 변화로 이어집니다.

그룹 partition을 평균으로 프로파일링하면 공통 prompt-level offset 하나만 제거되고 N-1개의 응답 간 확률 대비가 남습니다. 논문은 N=32에서 모든 대비를 사용하는 추정기의 국소 Gaussian parameter risk가 한 그룹당 하나의 대비만 사용하는 방식의 2.92%라고 보고합니다. matched-energy 대안의 reverse KL 0.973에 비해 FlowBalance의 reverse KL은 0.273이었습니다.

검증기 계수의 효과는 $\partial\mathbb{E}_{p^*}[R]/\partial\eta_A=\operatorname{Var}_{p^*}(R)/(\tau(\sigma_R(x)+\epsilon))\ge 0$ 으로 표현됩니다. 고정된 자기지도 점수에서 η_A를 높이면 목표분포의 기대 검증 보상이 감소하지 않습니다. 실패 응답의 사후 점수가 양수인 경우 sign gating은 성공 응답과 실패 응답의 목표 확률비에 $\exp(2\beta_GG_H(y_-|x,c)/\tau)$ 를 추가해 성공 쪽을 보정합니다.

실험 설정은 Qwen3-4B와 Qwen3-8B, 다섯 개 수학 벤치마크, 다섯 개 seed, step 180 평가로 구성됩니다. AIME24는 Pass@16, HMMT25·Minerva·MATH500·OlympiadBench는 Pass@1을 사용했습니다. 배포 정책은 문제만 보고, frozen current-policy snapshot만 학습 중 solution 또는 task feedback을 사용해 이미 생성된 토큰을 채점합니다.

한계점

실험의 큰 범위가 수학 추론에 집중되어 있어 agentic·multimodal·기타 장기 과제로의 일반화는 확인되지 않았습니다. 응답 길이 비교는 OPSD와 연관된 실패 양상을 보여주지만 긴 응답이 높은 정확도를 직접 유발한다는 근거는 아닙니다. 전략 다양성은 한 checkpoint와 한 seed에서 수행한 LLM 판정 AIME24 진단이며 다중 seed 인간 평가가 아닙니다. 또한 고정된 prompt distribution에서 경험을 정책으로 바꾸는 inner loop만 분리했으므로, 새로운 과제를 생성하거나 선별하는 완전한 self-evolving system은 아닙니다.

실무 활용

FlowBalance는 검증 가능한 수학·코딩·추론 과제에서 여러 온폴리시 응답을 생성할 수 있고, 학습 시 정답 풀이 또는 피드백을 추가로 제공할 수 있을 때 활용할 수 있습니다. 추론 시에는 privileged context를 제거하고 일반 정책만 사용하므로, 학습 전용 정보가 배포 단계로 유출되지 않습니다.

검증기가 최종 정답을 자동 판정하는 수학 추론 모델의 자기개선
여러 후보 풀이 중 정답 전략의 확률 질량을 유지하는 온폴리시 강화학습
긴 추론 응답에서 직접 토큰 모방으로 인한 응답 길이 붕괴 완화
정답 풀이와 실패 풀이가 함께 존재하는 학습 데이터에서 사후 자기지도의 과신 억제

코드 공개 여부: 공개

코드 저장소 보기

키워드

FlowBalance(검증기 기반 분포형 자기개선)온폴리시 추론(On-Policy Reasoning)특권적 사후 자기지도(Privileged-Hindsight Self-Guidance)궤적 균형(Trajectory Balance)그룹 상대 어드밴티지(Group-relative Advantage)역방향 KL(Reverse-KL)수학 추론(Mathematical Reasoning)

용어 해설

검증 가능한 보상 기반 강화학습(RLVR): — 정답 여부를 자동으로 확인할 수 있는 검증기(verifier)의 결과를 보상으로 사용하는 강화학습 방식입니다. 수백~수천 개 토큰으로 구성된 추론 응답에 최종 보상 하나를 부여하므로 결과 신뢰성은 높지만 토큰별 학습 신호는 희소합니다.
그룹 상대 어드밴티지(Group-relative Advantage): — 같은 프롬프트에서 생성한 여러 응답의 보상을 그룹 평균과 표준편차에 따라 정규화한 값입니다. 각 응답이 그룹 안에서 상대적으로 얼마나 좋은지 나타내며, FlowBalance에서는 검증 신호의 방향을 결정합니다.
궤적 균형(Trajectory Balance): — 완전한 생성 궤적의 정책 확률과 목표 에너지 사이를 맞추는 학습 원리입니다. 토큰별 모방 손실 대신 전체 응답의 정규화된 확률분포를 학습해 장기 추론 과정의 상대적 선호를 보존합니다.
특권적 사후 정보(Privileged Hindsight): — 추론 시에는 사용할 수 없지만 학습 중에는 정답 풀이 또는 과제 피드백을 추가로 참조하는 관점입니다. 이미 생성된 토큰을 다시 채점해 조밀한 자기지도 신호를 만들지만, 실패 응답에도 높은 점수를 줄 수 있습니다.
역방향 KL 발산(Reverse-KL): — 새 분포가 기준 분포에서 얼마나 이동했는지 측정하는 거리입니다. FlowBalance의 목표분포는 원하는 복합 에너지 수준을 달성하는 분포 중 기준 정책과의 역방향 KL 이동이 가장 작은 분포로 해석됩니다.
Simpson 다양성(Simpson Diversity): — 정답 응답을 핵심 풀이 전략별로 묶은 뒤, 서로 다른 전략을 사용하는 두 응답을 뽑을 확률을 계산하는 지표입니다. 전략 군집 비율을 p_k라 하면 $1-\sum_k p_k^2$ 로 계산하며 값이 클수록 성공 풀이가 여러 방식에 분산됩니다.

FlowBalance: 검증기로 조율한 추론 자기개선

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

숙련된 것은 내려놓고 남은 것을 학습하기

OPD는 정말 교사 지식을 증류하는가

약한 Teacher의 정책 변화를 강한 Student의 학습 가속 신호로 바꾸는 OPRD

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

숙련된 것은 내려놓고 남은 것을 학습하기

OPD는 정말 교사 지식을 증류하는가

약한 Teacher의 정책 변화를 강한 Student의 학습 가속 신호로 바꾸는 OPRD