strict-threshold
엄격 기준
벤치마크의 각 문제를 부분적으로 해결했는지가 아니라, 정해진 checkpoint를 모두 통과했는지를 기준으로 점수를 계산하는 방식이다. 이 글에서는 Opus 목록 17개와 Fable·Sol·Kimi 목록 30개에 적용됐다.
엄격 기준
벤치마크의 각 문제를 부분적으로 해결했는지가 아니라, 정해진 checkpoint를 모두 통과했는지를 기준으로 점수를 계산하는 방식이다. 이 글에서는 Opus 목록 17개와 Fable·Sol·Kimi 목록 30개에 적용됐다.