STS2-Bench: Slay the Spire 2를 이용한 장기 의사결정 벤치마크와 7개 모델 비교

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

STS2-Bench는 Slay the Spire 2라는 롱호라이즌·불가역적 결정 구조를 활용해 제로샷 LLM의 장기 의사결정 능력과 컨텍스트 내 산술 정확성, 프로토콜 준수력을 동시에 측정하는 벤치마크로 설계되었고 동일 시드·A2 난이도·Ironclad 캐릭터 조건에서 7개 모델을 비교해 총 21회 실행에서 모두 사망으로 종료되었으며 GPT-5.6 Sol이 세 시드에서 가장 일관된 깊이 진입을 기록해 최고 성과를 냈다. 점수는 층수 기반의 기본점수(Ascension 2에서 층당 약 12점)에 보스 승리 보너스(+500)와 일괄 실행 보상/조회 패널티를 더한 형태로 산출되었고 이로 인해 플레이 스킬과 프로토콜 규율이 독립적인 영향력을 가짐이 드러났다. 총 토큰 소모는 약 4억 7천만 토큰, 전체 비용은 약 336달러였고 비용 효율성은 모델별로 크게 달라 Terra가 점수당 비용에서 우수했고 DeepSeek가 최저 비용 베이스라인을 형성했다. 표본 수(각 모델 3시드)와 단일 캐릭터·난이도 제약이 명시된 한계이므로 결과는 경향성으로 해석해야 하며 향후 시드·캐릭터 확장과 스코어 가중치 민감도 분석이 제안되었다.

주요 논점

01찬성다수

장기 누적 의사결정을 평가하기 위해 Slay the Spire 2를 환경으로 사용한 접근은 불가역성·확률성·장기 보상 구조를 모두 포함하여 모델의 내적 계획력과 정확한 계산 능력을 동시에 측정할 수 있는 적절한 프록시임이 확인됐다.

02중립분열

스코어링에 포함된 프로토콜 패널티는 행동 일괄화와 상태 조회 빈도를 규율하는 명확한 기준을 제공하지만 가중치 선택이 결과에 민감해 순위 해석시 주의가 필요하다는 점이 존재한다.

03반대다수

샘플 수가 작고 단일 캐릭터·난이도로 제한되어 있어 현재 결과만으로는 일반화가 어렵고, RL 기반 정책이나 도구 허용 시 성능이 크게 달라질 가능성이 있어 추가 통제가 필요하다.

합의점 vs 논쟁점

합의점

장기 누적 의사결정과 컨텍스트 내 정확한 계산 능력이 LLM의 현실적 에이전트 역량을 평가하는 데 핵심 지표라는 점
스코어링 가중치와 프로토콜 규칙이 리더보드에 큰 영향을 미치므로 가중치 설계는 결과 해석에 결정적이라는 점
샘플 수 확대·다양한 시드와 캐릭터 사용이 후속 연구에서 필수적이라는 점

논쟁점

get_view 호출당 −100과 같은 큰 패널티가 합리적인지 여부와 그로 인해 프로토콜 우선 전략이 실제 목표(완주)보다 유리하게 되는지
도구·외부 메모리·재학습을 완전히 배제한 설계가 일반적 에이전트 역량을 과도히 낮게 측정하는지 여부

실용적 조언

평가는 각 모델당 최소 10개 이상의 시드를 사용해 중앙값과 분포를 기반으로 결과를 제시해야 신뢰도를 확보할 수 있다.
스코어 가중치 민감도를 점검하기 위해 get_view와 단일 액션/다중 액션 페널티를 축마다 변화시켜 리더보드의 견고성을 측정해야 한다.
비용 효율성 평가를 위해 각 모델의 토큰 소비량과 달러 대비 점수 비율을 표준화하고, 인프라 재시도 비용을 분리해 순수 플레이 비용을 산출해야 한다.

섹션별 상세

벤치마크의 목적은 롱호라이즌 의사결정 능력을 정량화하는 것으로서, 단일 프롬프트 정답을 묻는 기존 원샷 테스트와 달리 전체 게임 한 번의 연속 실행을 통해 누적된 선택의 질을 측정한다. 입력으로는 초기 전체 상태와 이후의 상태 변경(diff)만을 전달하고 출력으로는 기계적으로 허용되는 legal_actions 집합을 일괄 제출하도록 하였으며, 동일한 난수 시드 하에서 세 번의 완주 시도를 비교해 재현성을 확보했다. 실험에서 7개 모델이 각기 동일 시드로 플레이했고 총 21회 실행에서 모두 사망으로 종료되어 장기 생존 깊이가 평가 신호로 유의미하게 사용될 수 있음이 확인됐다.

의사결정 능력 평가 항목은 개별 턴에서의 카드 선택·루트 결정·엘리트 도전 여부와 같은 불가역적 선택들의 기대값을 확률적으로 계산해 장기 결과에 반영하는 능력으로 정의되었고, 이 과정은 미래 결과를 미리 볼 수 없는 no-foresight와 저장 재시작(anti-save-scumming) 금지 조건 하에서 진행되었다. 모델은 매 턴마다 피해·블록·강화 수치 등을 컨텍스트 내에서 산술적으로 계산해 액션 배치를 결정해야 했고, 작은 산술 오류가 종국에는 치명타로 이어지는 구조라서 정확한 multi-step 계산 능력이 성능에 직접 연결되었다. 이러한 설계로 인해 벤치마크는 단순한 행동 모방이 아니라 내적 계산과 리스크 할당, 장기 크레딧 어사인먼트를 포괄적으로 측정하는 지표로 작동했다.

스코어링은 층수 기반 기본점수와 보스 격파·일괄 실행 보상·상태 조회(get_view) 패널티를 결합한 형태로서, 기본점수는 base = floor reached × 10 × (1 + Ascension level / 10)으로 Ascension 2에서는 층당 약 12점이 부여되며 보스 격파에 +500, 한 번에 여러 액션을 execute_actions로 제출하면 +5, 단일 액션 제출시 −5, get_view 호출마다 −100을 적용해 프로토콜 준수 여부를 점수화했다. 이 설계는 모델이 내부에서 완전한 피해·블록 계산을 마친 뒤 일괄적으로 행동을 제출하도록 유도하며, 결과적으로 플레이 스킬(진척)과 프로토콜 규율(호출 빈도)이 독립적이면서도 합산된 총점에 서로 다른 영향을 주었다. 표본 결과에서 프로토콜 패널티 때문에 순위가 변동하는 사례가 발견되어 보상·패널티 가중치가 평가 결과에 민감한 요소임이 드러났다.

실험 결과에서는 21회 실행이 약 4억 7천만 토큰을 소모하고 총 비용이 약 336달러였으며, GPT-5.6 Sol이 평균 배치·중앙값 점수·평균 순위에서 모두 우세했고 세 시드 모두에서 Act 2 보스(층 33)에 도달한 유일한 모델이었다. 반면 Terra는 비용 효율이 가장 높아 3회 실행 합계 대비 점수당 비용이 우수했고 DeepSeek는 총비용이 약 0.33달러로 사실상 무비용 베이스라인 역할을 했다. 이러한 결과는 절대 점수와 비용 효율성이라는 두 축이 서로 다른 선택 기준을 제공함을 보였고, 동일한 샘플 크기에서 변동성이 크기 때문에 추세 해석에 주의가 필요하다는 결론으로 이어졌다.

제한점으로는 각 모델당 세 번의 시드만 사용한 작은 표본 크기, 단일 난이도(A2)·단일 캐릭터(Ironclad)만 평가한 범위 제한, 점수 가중치 설정의 주관성 등이 명시되었고 저자는 향후 복수 캐릭터·상향 난이도·더 많은 시드로 확장할 것을 제안했다. 또한 외부 도구·재학습·외부 메모리를 모두 배제했기 때문에 이 결과는 순수한 제로샷 추론 능력과 컨텍스트 기반 계산 능력을 측정한 것이며 RL형 학습이나 툴 사용을 허용할 경우 성능이 달라질 가능성이 있다고 명시되었다. 이 한계들은 결과 해석과 벤치마크 설계상의 트레이드오프를 직접적으로 드러내며 후속 연구 방향을 구체적으로 제시한다.

이미지 분석

Chart
이미지는 모델별 단일 실행 점수의 분산을 시각화하여 특정 모델이 단일 행운에 의해 상위에 오른 것이 아니라 재현 가능한 깊이 진입으로 우위를 점했는지를 판별할 수 있게 한다. 그래프에서 GPT-5.6 Sol은 세 시드에서 모두 높은 층수와 일관된 점수를 기록해 교차시드 분산이 작았음을 확인할 수 있다.
리더보드의 모델별 점수 분포와 세드별 성과 편차를 보여주는 산점도.

Chart
이미지는 모든 시드에서 Act 1 보스가 배치된 Floor 17에서 사망이 집중되었음을 시각적으로 입증하며, 이 지점이 구조적 난이도 상승 구간으로서 선택의 누적 효과를 평가하는 핵심 관문임을 드러낸다. 따라서 층수 도달 분포는 단순 난수 변동이 아니라 게임 레벨 설계와 직접 연결되어 있다.
Floor 17에 사망이 집중된 원인을 시각적으로 보여주는 게임 구조 관련 차트.

용어 해설

장기 계획수립(Long-horizon Planning): — 여러 단계에 걸쳐 결과가 누적되는 환경에서 초기 선택이 후속 성과에 미치는 영향을 평가하는 개념으로서, 이 벤치마크에서는 덱 구성·루트 선택·리스크 관리가 장기 승패에 어떻게 연결되는지를 측정하는 핵심 기준으로 사용된다.
콘텍스트 내 계산(In-context Calculation): — 모델이 외부 계산 도구 없이 입력된 텍스트 컨텍스트 내부에서 연속적인 산술·확률·상태 추적 계산을 수행하는 능력으로서, 이 평가에서는 피해·블록·에너지 배분 등 모든 산술을 모델의 추론 체인 내부에서 정확히 처리해야 한다.
행동 일괄 제출(Action Batching): — 여러 액션을 하나의 호출로 묶어 실행 요청함으로써 상태 읽기 횟수를 줄이고 계획을 내부에서 완성하는 방식으로서, 점수 보정 항목은 일괄 제출을 장려하기 위해 다중 액션 제출에 보상을 부여하고 단일 액션 제출에는 패널티를 부과한다.

코드 예제

text

base = floor reached × 10 × (1 + Ascension level / 10)

총점 산출의 기초가 되는 수식으로서 각 층(floor)에 부여되는 기본 점수를 Ascension 레벨로 조정하는 방식의 예시다.

언급된 도구

Slay the Spire 2중립

벤치마크 환경으로 사용된 록라이크 덱빌딩 게임

언급된 리소스

문서Full write-up by Box (X)