FINAL-Bench가 운과 실력의 경계를 기록하는 법

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

FINAL-Bench의 Live Forecasting Challenge는 과거 기록을 재생하는 backtest 대신 미래 예측의 실제 결과를 평가하고, 모든 참가자의 실행을 보존해 실패까지 비교합니다. 자산마다 무작위 플레이어 20,000명을 시뮬레이션해 95백분위 성과를 운으로 가능한 상한선으로 제시하며, no-lookahead를 포함한 scorer 자기검증도 거칩니다. 게시물은 LLM agent benchmark에도 반복 seed, chance ceiling, frozen scorer, 비용과 latency를 도입해야 단일 leaderboard 점수에서 운과 실력을 분리할 수 있다고 봅니다.

실용적 조언

LLM agent benchmark를 만들 때 한 번의 실행 결과만 leaderboard에 올리지 말고 random 또는 simple-policy baseline과 여러 seed의 점수 분포를 함께 기록해야 합니다. 모델 점수가 무작위 전략의 95백분위 결과를 넘는지 비교하면 우연한 성공을 별도로 걸러낼 수 있습니다. 실패한 run도 삭제하지 않고 보존해야 특정 조건에서 agent가 무너지는 양상을 재현할 수 있습니다.
평가 scorer는 공개 전에 no-lookahead를 포함한 adversarial self-test를 통과해야 합니다. 닫힌 형태로 정답을 계산할 수 있는 사례에서 미래 정보가 입력이나 채점 과정에 섞이지 않는지 확인하고, 통과한 scorer를 frozen 상태로 유지해야 결과 변경을 막을 수 있습니다. 이렇게 해야 benchmark 제작자가 사후적으로 모델에 유리한 채점 규칙을 바꾸는 위험을 줄일 수 있습니다.
최종 ranking에는 정확도나 성공률뿐 아니라 실행 비용과 latency도 포함해야 합니다. 동일한 과제를 수행하더라도 더 많은 호출과 긴 처리 시간을 사용하는 agent가 단일 점수만으로 우위에 서면 실제 운용 효율을 반영하지 못합니다. 비용과 latency를 점수와 함께 공개하면 성능과 자원 사용량 사이의 교환 관계를 비교할 수 있습니다.

섹션별 상세

FINAL-Bench의 Live Forecasting Challenge는 과거 기록을 재생하는 backtest가 아니라 미래 결과를 예측한 뒤 실제 결과로 점수를 매깁니다. 이 방식은 특정 시장 경로를 우연히 잘 맞힌 참가자와 반복 가능한 예측 능력을 가진 참가자를 구분하려는 평가 구조입니다. 참가자의 결과를 우승자만 남기지 않고 모두 보존해 실패 사례까지 비교할 수 있게 한 점도 핵심입니다.

이 벤치마크는 자산마다 무작위 플레이어 20,000명을 시뮬레이션하고 그중 95백분위 성과를 공개합니다. 따라서 어떤 모델의 점수가 무작위 전략으로도 도달 가능한 운의 상한선보다 높은지 확인할 수 있습니다. 게시물은 이 절차가 단일 leaderboard 점수만으로는 알기 어려운 운과 실력의 차이를 수치화한다고 평가합니다.

게시물은 같은 원칙을 LLM agent benchmark에도 적용하자고 제안합니다. 구체적으로 random 또는 simple-policy baseline, 반복 seed에 따른 점수 분포, 사전 공개한 chance ceiling, adversarial self-test를 거친 frozen scorer, 실패한 실행의 보존, 비용과 latency를 ranking에 포함하는 항목을 열거합니다. 이 구성이 갖춰져야 harness 자체의 성능과 우연히 유리한 실행 경로를 분리해 평가할 수 있습니다.

용어 해설

실시간 예측 도전(Live Forecasting Challenge): — 과거 데이터를 재생해 성능을 추정하는 backtest 대신, 참가자가 미래 결과를 실제로 예측하고 결과가 확정된 뒤 점수를 계산하는 평가 방식입니다. 운에 따른 성과와 모델의 예측력을 구분하는 데 목적이 있습니다.
미래 정보 참조 방지 테스트(No-Lookahead Test): — 평가기가 예측 시점 이후의 정보를 미리 읽어 점수를 계산하지 않는지 확인하는 검증 절차입니다. 닫힌 형태로 정답을 알 수 있는 사례를 사용해 scorer의 시간 순서 위반을 점검합니다.
95백분위 결과(95th-Percentile Result): — 같은 자산에 대해 무작위 플레이어를 반복 실행한 결과 중 상위 5%가 도달하는 성과입니다. 모델이 운만으로 얻을 수 있는 높은 점수의 기준선을 마련해 단일 leaderboard 점수의 의미를 보정합니다.

언급된 리소스

문서FINAL-Bench on Hugging Face