FIPO: Future-KL 영향을 받는 정책 최적화를 통한 심층 추론 유도

기존의 강화학습 방식은 정답 여부만 따지는 '결과 기반 보상'에 의존해 논리적 비약이 있는 토큰을 구분하지 못하는 한계가 있었다. FIPO는 미래의 궤적 변화를 반영하는 '밀집된 보상' 신호를 생성하여, 모델이 스스로 오류를 수정하고 더 깊게 생각하도록 유도한다. 이를 통해 별도의 복잡한 비평가 모델 없이도 LLM의 추론 성능을 비약적으로 높일 수 있음을 증명했다.

기존 GRPO 같은 강화학습은 문장 전체가 맞았는지 틀렸는지만 보고 모든 토큰에 동일한 점수를 준다. 이는 마치 수학 문제를 풀 때 중간 풀이 과정은 무시하고 최종 답만 맞으면 모든 단계가 완벽했다고 칭찬하는 것과 같아, 결정적인 논리적 오류를 잡아내기 어렵다.

FIPO는 Future-KL이라는 개념을 도입한다. 특정 토큰이 생성된 이후의 미래 문장들이 이전 모델과 비교해 얼마나 긍정적으로 변했는지를 측정한다. 즉, 현재 선택한 단어가 나중에 올바른 논리 전개에 얼마나 기여했는지를 수치화하여 각 토큰에 개별적인 점수를 매긴다.

이 방식은 모델에게 '지금 이 단계가 나중에 정답을 맞히는 데 결정적이었다'는 세밀한 피드백을 준다. 결과적으로 모델은 단순히 답을 맞히는 요령을 배우는 게 아니라, 스스로 중간 단계를 검토하고 수정하는 '자기 반성' 능력을 갖추게 되어 추론의 깊이가 깊어진다.

Future-KL 추정 방식. 현재 시점 t부터 시퀀스 끝 T까지의 로그 확률 차이(Δlog p)를 입력으로 하여 누적 합산 연산을 수행해 Future-KL 값을 얻고, 이 값이 현재 토큰이 미래 궤적에 미치는 영향력을 의미하도록 설계했다.

소프트 감쇠 윈도우(Soft Decay Window). 미래 토큰의 영향력은 시간이 지날수록 불확실해지므로 할인 계수 γ를 적용한다. Future-KL 값과 γ^(k-t)를 입력으로 지수적 감쇠 곱셈을 수행해 가중치가 적용된 Future-KL을 얻고, 이를 통해 가까운 미래의 논리적 일관성에 더 집중하게 만든다.

영향력 가중치 클리핑(Influence Weight Clipping). 학습 안정성을 위해 Future-KL을 지수 함수로 변환한 가중치 ft를 특정 범위 [1-ε, 1+ε]로 제한한다. 지수 변환된 Future-KL을 입력으로 클리핑 연산을 수행해 최종 가중치 ft를 얻고, 급격한 그래디언트 변화로 인한 학습 붕괴를 방지한다.

Qwen2.5-32B-Base 모델을 사용한 실험에서 AIME 2024 벤치마크 Pass@1 정확도가 50.0%에서 최대 58.0%로 상승했다. 이는 DeepSeek-R1-Zero-Math-32B(약 47.0%)와 o1-mini(약 56.0%)를 상회하는 수치다.

추론 과정의 길이가 획기적으로 늘어났다. 기본 모델의 평균 Chain-of-Thought 길이는 약 4,000토큰이었으나, FIPO 학습 후에는 10,000토큰을 넘어섰다. 분석 결과, 이러한 길이 증가는 단순 반복이 아니라 모델의 '자기 반성(Self-reflection)' 및 '다중 경로 검증' 행동의 출현에 기인한 것으로 확인됐다.

학습 안정성 분석에서 FIPO는 기존 DAPO 대비 낮은 그래디언트 노름(Gradient Norm)과 안정적인 정책 엔트로피 상승을 보였다. 이는 Future-KL 기반의 밀집된 보상이 모델의 탐색 과정을 더 체계적으로 가이드함을 시사한다.

FIPO는 GRPO(Group Relative Policy Optimization) 프레임워크를 확장하여, 결과 기반 보상(ORM)의 희소성 문제를 해결한다. 별도의 가치 함수(Value Function) 네트워크 없이도 토큰 수준의 어드밴티지를 추정할 수 있는 구조를 제안한다.

핵심은 누적 로그 확률 차이인 Future-KL을 어드밴티지 조절 인자로 사용하는 것이다. 이는 수학적으로 미래 지평에 제한된 KL 발산의 샘플 기반 추정치와 동일하며, 현재 행동이 미래 분포 변화에 미치는 인과적 영향을 포착한다.

구현 측면에서는 O(L^2)의 메모리 복잡도를 해결하기 위해 청크 기반(Chunk-based) 메모리 효율적 알고리즘을 도입했다. 시퀀스를 고정된 크기 K의 블록으로 나누어 연산함으로써 긴 문맥 학습 시 발생하는 OOM 문제를 방지했다.

추론 시퀀스가 길어짐에 따라 발생하는 계산 비용 및 추론 지연 시간이 주요 한계점이다. 또한 수학 벤치마크 위주로 평가되어 일반적인 텍스트 영역에서의 범용성은 추가 검증이 필요하다.