Foresight V3: GPT-5.2를 제치고 예측 벤치마크 1위를 차지한 120B 오픈소스 기반 모델

커뮤니티 반응

모델의 성능과 학습 방법론에 대해 매우 긍정적인 반응이며, 특히 자동화된 데이터 생성 파이프라인의 효율성에 주목하고 있다.

주요 논점

01찬성다수

특화된 데이터셋과 인과관계 중심의 학습이 모델 크기보다 성능에 더 큰 영향을 미친다.

합의점 vs 논쟁점

합의점

Prophet Arena는 조작이 어려운 신뢰할 수 있는 예측 벤치마크이다.
타임스탬프를 활용한 자동 라벨링은 데이터 확장성 측면에서 매우 효율적이다.

논쟁점

오픈소스 기반 모델이 비공개 상용 모델인 GPT-5.2의 성능을 모든 영역에서 지속적으로 앞설 수 있는지 여부

실용적 조언

특정 시점 이전의 데이터로 질문을 만들고 이후 데이터로 정답을 맞추는 Future-as-Label 방식을 활용하면 라벨링 비용 없이 고품질 예측 데이터셋 구축이 가능하다.
Lighting Rod SDK를 사용하여 공개 뉴스 데이터를 실시간 학습 데이터로 변환하는 파이프라인 구축을 고려할 수 있다.

섹션별 상세

Foresight V3는 gpt-oss-120b를 기반으로 하며 Prophet Arena 벤치마크에서 GPT-5.2와 Claude Opus 4.5를 제치고 종합 1위를 차지했다. Prophet Arena는 시카고 대학교 SIGMA 랩의 실시간 벤치마크로, 모든 모델에 동일한 컨텍스트를 제공하여 조작이 불가능한 추론 능력을 측정한다. 이 결과는 특정 도메인에 특화된 학습이 범용 거대 모델보다 뛰어난 성능을 낼 수 있음을 시사한다.

데이터 생성 파이프라인은 'Future-as-Label' 기법을 통해 사람이 직접 라벨링하지 않고도 대규모 학습 데이터를 확보한다. 특정 뉴스 문서의 타임스탬프를 기준으로 예측 질문을 생성하고, 해당 시점 이후에 발행된 뉴스에서 실제 결과를 찾아 라벨로 지정하는 방식이다. Lighting Rod SDK를 사용하여 수 시간 만에 공개 뉴스로부터 전체 학습 데이터셋을 구축하는 효율성을 보여주었다.

강화학습 기법인 'Foresight Learning'은 실제 세계의 사건 전개를 검증 가능한 보상으로 활용하여 모델을 미세 조정한다. 2월에 수행한 예측을 4월에 발생한 실제 결과와 대조하여 점수를 부여함으로써, 폐쇄된 환경이 아닌 개방된 현실 세계의 데이터를 학습에 통합한다. 이는 시간이 흐름에 따라 지속적으로 확장 가능한 감독 학습(Scalable Supervision) 체계를 구축한 사례이다.

작은 규모의 모델이 거대 모델을 이길 수 있었던 핵심 요인은 텍스트의 개연성이 아닌 인과관계(Cause-and-Effect)를 학습했기 때문이다. 단순히 과거 데이터를 암기하는 대신 '관세 발표가 해운 선물 지수 급등을 유발한다'와 같은 논리적 연결 고리를 인코딩하여 새로운 사건에도 일반화된 예측력을 발휘한다. 이 파이프라인은 금융, 공급망, 의료 등 다양한 전문 분야에 적용되어 GPT-5 이상의 성과를 거두었다.

용어 해설

프로펫 아레나(Prophet Arena): — 시카고 대학교 SIGMA 랩에서 운영하는 실시간 예측 능력 측정 벤치마크이다. 모든 모델에 동일한 컨텍스트를 제공하여 조작이 불가능한 환경에서 모델의 순수 추론 및 미래 예측 능력을 평가하는 지표로 활용된다.
미래 기반 라벨링(Future-as-Label): — 특정 시점의 문서를 기준으로 예측 질문을 생성한 뒤, 해당 시점 이후에 실제로 발생한 뉴스나 데이터를 정답 라벨로 사용하는 자동 데이터 생성 기법이다. 수작업 없이 대규모의 검증된 학습 데이터를 확보할 수 있게 한다.
검증 가능한 보상 기반 강화학습(Reinforcement Learning with Verifiable Rewards): — 예측 결과가 실제 현실에서 발생한 사건과 일치하는지 여부를 객관적인 보상 신호로 사용하여 모델을 최적화하는 학습 방식이다. 폐쇄된 환경이 아닌 현실 세계의 인과관계를 모델에 학습시키는 데 핵심적인 역할을 한다.

언급된 도구

Lighting Rod SDK추천

공개 뉴스로부터 예측 학습 데이터셋 자동 생성

언급된 리소스

논문Future-as-Label Paper

논문Outcome-based RL to Predict the Future