대규모 테스트 시점 연산의 함의 — Noam Brown과의 대화

팟캐스트 에피소드에서 Noam Brown은 전통적 벤치마크 그리드가 모델에게 허용된 사고 시간(테스트 시점 연산)을 반영하지 못해 모델의 실제 역량을 제대로 포착하지 못한다고 지적한다. 벤치마크는 보통 고정된 시간과 환경에서 점수를 매기므로, 실행 예산을 늘렸을 때 나타나는 능력 향상이 누락된다. 또한 테스트 시점 연산을 충분히 투입하면 오늘날 모델이 수주·수개월 단위로 누적 추론을 수행할 수 있음을 제시하며, 포커 솔버 봇이나 복잡한 수학적 추측 검증 같은 사례가 이를 뒷받침한다. 이 때문에 평가 체계를 단순 점수 비교에서 실행 예산(비용)과 시간의 함수로 재설계할 필요가 있다. 그러나 실행 예산 확장은 안전·거버넌스상의 공백을 드러내고 재귀적 자기개선의 현실적 병목을 불러온다. 따라서 모델 배포와 안전 기준은 비용 기반 평가와 병행한 검증 절차로 보완되어야 하며, 멀티에이전트 협업·지식 공유 방식도 이 맥락에서 재고될 필요가 있다.