파라미터가 아니라 호라이즌을 확장하기: 35B 에이전트로 조 단위 모델 성능 달성

장기 호라이즌 작업에서는 중간 의사결정과 도구 상호작용이 결과에 누적 영향을 미치며 파라미터 확장만으로는 비용과 재현성 문제를 해결하기 어렵다. 이 논문은 모델 파라미터 대신 에이전트의 수행 길이와 도메인별 능력 통합을 확장하는 접근을 도입했다. 그 결과 35B MoE 모델 Agents-A1이 일부 장기 벤치마크에서 1T급 모델과 견줄 만한 성능을 보였고 학습 파이프라인과 코드 저장소를 공개했다.

기존의 성능 향상 경로는 주로 모델 파라미터를 키워 내부에 더 많은 추론 패턴과 도메인 지식을 내장하는 방식이었다. 그러나 파라미터 확장은 비용과 재현성의 장벽을 만들고, 장기 의사결정 문제에서 중간 단계의 증거와 검증을 포괄적으로 학습하는 데 한계가 있었다. 이 논문은 이 한계를 피하기 위해 에이전트의 '호라이즌'을 확장하는 관점을 채택했다.

전체 접근은 세 단계로 구성되며 각 단계는 장기적 행위-관찰-검증 궤적을 안정적으로 학습하도록 설계되었다. 첫 단계는 다양한 도메인에서 수집한 장기 궤적으로 풀 도메인 SFT를 수행해 기본적인 에이전트 행동을 정렬했다. 두 번째 단계에서는 도메인별로 특화된 교사를 SFT 또는 RL(GRPO)을 통해 학습시켜 각 도메인의 전문성을 강화했다. 세 번째 단계에서는 학생이 자체 롤아웃을 생성하고 도메인 라벨에 따라 해당 교사의 토큰 수준 지도를 받아 Salient Vocabulary Alignment와 도메인 정규화된 평균화로 손실을 계산해 단일 배포 가능한 모델로 통합했다.

Agents-A1은 여러 장기 벤치마크에서 강한 성능을 기록했다. 논문이 제시한 주요 성과로는 SEAL-0 56.4, IFBench 80.6, HiPhO 46.4, FrontierScience-Olympiad 79.0, MolBench-Bind 56.8 등이 있다. 도메인별 교사 학습은 검색, 과학, 도구 호출 등 특정 능력을 크게 향상시켰고, OPD는 이러한 교사 능력을 단일 학생 모델로 균형 있게 이전하는 데 효과적이었다.

전체 아키텍처는 35B 파라미터 예산에서 Mixture-of-Experts 구조를 사용해 토큰별 라우팅으로 일부 전문가만 활성화하도록 설계되었다. 데이터 관점에서 SFT 데이터는 약 100K 궤적으로 구성되며 각 궤적의 평균 길이는 약 45K 토큰이다. SFT의 주요 하이퍼파라미터는 학습률 1e-5, 배치 사이즈 16, 최대 시퀀스 길이 131,072 토큰이며 샘플 패킹을 통해 GPU 활용도를 높였다.

논문은 Agents-A1이 여러 장기 벤치마크에서 강력한 성능을 보였지만 MLE-Bench-Lite 같은 엔지니어링 전 과정 최적화 과제에서는 여전히 1T급 모델과 차이를 보인다고 명시한다. 또한 OPD는 교사의 전문성을 학생으로 균형 있게 이전하지만 모든 도메인에서 교사 성능을 초과하지는 못했다. 일부 벤치마크(예: τ²-Bench)에서는 재현성 관련 코드베이스·환경 차이로 결과 차이가 발생할 수 있음을 언급한다.