IMO 문제를 활용한 LLM 벤치마크와 AutoFyn 멀티에이전트 하니스 결과 보고

커뮤니티는 방법론적 관심과 회의가 혼재된 반응을 보였다. 많은 참여자가 IMO 문제를 벤치마크로 삼은 선택에 공감하면서도 하니스가 실제로 '아이디어 생성'을 대체하지 못한다는 관찰에 주목했다. 일부는 AutoFyn의 모듈적 검증과 감사 로그 공개를 긍정적으로 평가했고 다른 일부는 정확한 수치와 재현 절차를 직접 검토해야 신뢰할 수 있다고 지적했다.

• 고난도 수학 문제를 벤치마크로 사용할 때는 훈련 데이터 포함 여부를 엄격히 확인하고 채점 과정에 자동 채점 모델과 인간 검토를 병행해 재현 가능성을 확보할 것을 권장한다. 자동 채점은 대량 평가의 속도를 제공하고 인간 검토는 아이디어 정확성이나 증명 단계의 타당성 판단을 보완해 상호보완적 역할을 한다. 감사 로그와 실험 트레일을 공개하면 외부 검증과 오류 탐지에 도움이 된다.
• 하니스 도입 시 검색과 검증 모듈을 분리해 설계하면 하니스의 역할을 명확히 파악할 수 있다. 검색 모듈은 관련 아이디어와 증거를 반환하고 검증 모듈은 모델 출력의 산술적·논리적 타당성을 검사하는 역할을 수행하도록 구성하면 하니스가 실제로 어느 단계에서 성능 향상에 기여하는지 파악하기 용이하다. 이러한 모듈화는 문제 해결 과정에서 병목이 발생한 지점을 진단하는 데도 유리하다.

Multi-Agent Harness

— 멀티에이전트 하니스는 여러 에이전트를 협력하도록 설계한 실행 프레임워크로, 각 에이전트가 문제의 일부를 맡아 입력을 처리하고 중간 결과를 교환하여 최종 해답을 생성하는 방식이다. 본 게시물에서는 AutoFyn이 검색과 검증 기능을 포함한 모듈을 조합해 수학 문제 해결 과정의 탐색·검증 단계를 분리하고 병렬화하는 사례로 사용되었다. 이 구조는 복잡한 다단계 추론에서 아이디어 탐색과 증명 검증을 별도 프로세스로 처리해 오류를 줄이고 재현가능성을 높이는 목적을 가진다.

Harness

— 하니스는 모델을 단독으로 실행하는 대신 외부 모듈(검색·검증·오케스트레이션 등)을 연결해 모델 성능을 향상시키는 실행 환경 또는 파이프라인을 의미한다. 본문에서는 provider harness(예: Claude Code)와 AutoFyn 같은 커스터마이징 가능한 하니스가 모델의 출력에 추가 검사와 재질의를 삽입해 정답률을 높이는 방식으로 사용되었다. 하니스는 입력을 분할해 검색을 호출하고 모델에게 증거를 제공한 뒤 모델 응답을 다시 검증하는 흐름으로 작동해 단일 모델보다 더 복합적인 문제 해결을 목표로 한다.

Model Verification

— 모델 검증은 생성된 해답의 정확성이나 논리적 타당성을 자동 또는 수동으로 확인하는 절차를 말하며 본문에서는 하니스 내부의 검증 모듈과 인간 검토, 그리고 별도 frontier 모델을 활용한 채점으로 이루어졌다. 검증은 모델 출력의 산술·논리적 오류를 찾아내고 거짓 해답을 걸러내는 역할을 하며, 특히 수학 문제처럼 정답 판정이 가능한 도메인에서 필수적이다. 검증 방식이 없거나 미흡하면 모델이 그럴듯하지만 틀린 해답을 제시하는 hallucination 문제가 그대로 남는다.