YC-Bench: 스타트업 CEO 시뮬레이션을 통한 LLM의 장기 의사결정 능력 평가

커뮤니티 반응

GLM-5의 뛰어난 가성비와 장기 과제 수행 시 스크래치패드 활용의 중요성에 대해 긍정적인 반응이 주를 이루고 있습니다.

주요 논점

01찬성다수

YC-Bench는 기존 벤치마크가 간과하던 장기적 일관성과 지연된 피드백 대응 능력을 효과적으로 측정한다.

02중립다수

고성능 모델의 높은 API 비용은 실제 비즈니스 환경에서 수익성을 확보하는 데 큰 장애물이 될 수 있다.

합의점 vs 논쟁점

합의점

장기 과제 성공을 위해서는 모델의 자체 기록(Scratchpad) 기능이 필수적이다
GLM-5는 비용 대비 성능 면에서 매우 효율적인 선택지이다

논쟁점

Claude Opus 4.6의 압도적인 비용을 지불할 만큼의 성능 차이가 실무에서 유의미한가

실용적 조언

에이전트 시스템 구축 시 모델이 자신의 추론 과정을 기록하고 참조할 수 있는 스크래치패드 메커니즘을 설계에 포함할 것
비용 최적화가 필요한 프로젝트에서는 GLM-5나 Kimi-K2.5와 같은 가성비 모델을 우선적으로 검토할 것

섹션별 상세

YC-Bench는 LLM이 수백 턴에 걸쳐 스타트업 CEO 역할을 수행하며 직원 관리와 계약 선택 등을 수행하는 시뮬레이션 환경이다. 모델은 약 35%의 고객이 업무 요구사항을 몰래 부풀리는 시장 환경에서 살아남아야 하며, 피드백은 지연되고 가이드라인이 없는 상태로 제공된다. 12개 모델을 대상으로 테스트한 결과, 대부분의 모델이 초기 자본금을 지키지 못하고 파산하는 등 높은 난이도를 기록했다. 이는 단순 질의응답을 넘어 실제 비즈니스 환경과 유사한 복잡한 의사결정 능력을 측정하는 데 목적이 있다.

벤치마크 결과 Claude Opus 4.6이 평균 127만 달러의 최종 자금을 확보하며 1위를 차지했으나, 실행당 API 비용이 86달러로 매우 높게 나타났다. 반면 GLM-5는 Opus 성능의 5% 이내에 근접하면서도 실행 비용은 7.62달러에 불과해 압도적인 가성비를 증명했다. Kimi-K2.5 역시 API 달러당 매출 효율성 측면에서 다른 모델보다 2.5배 뛰어난 성과를 거두며 실무 에이전트 파이프라인 구축 시 비용 효율 곡선의 중요성을 시사했다. 이러한 수치는 고성능 모델의 높은 비용이 항상 최선의 비즈니스 결과로 이어지지 않을 수 있음을 나타냈다.

성공적인 모델과 실패한 모델을 가르는 핵심 요인은 모델의 크기가 아닌 '지속적인 스크래치패드'의 활용 여부로 밝혀졌다. 상위권 모델은 실행당 평균 34회 정도 자신의 노트를 수정하며 학습 내용을 기록한 반면, 하위권 모델은 노트를 거의 사용하지 않는 경향이 확인됐다. 지연된 피드백 환경에서 모델이 자신의 결정을 기록하고 전략을 수정하지 못할 경우, 이미 실패한 전략을 반복하거나 나쁜 고객의 제안을 계속 수락하는 루프에 빠지는 현상이 나타났다.