PlanningBench: 평가 및 학습을 위한 확장 가능하고 검증 가능한 계획 데이터 생성

현실적 계획 문제의 복합 제약과 글로벌 일치성을 요구하는 LLM의 평가 및 학습에 필요한 다양하고 검증 가능한 데이터를 확보한다. 벤치마크를 고정하는 대신 제약 구성과 자동 검증을 통해 데이터 생성에 대한 제어력을 높이고, 제약 결합과 다단계 추론의 일반화에 기여한다.

출발점은 현실 세계의 계획 작업이 제약 사이의 상호작용과 다수의 하위 과제를 포함한다는 점이다. PlanningBench는 실제 시나리오를 바탕으로 Task Taxonomy와 Constraint Taxonomy를 구성하고, Generator-Responder-C critic의 순환으로 self-contained 문제를 합성한다. 제약 풀은 Basic/Medium/Hard로 구분되며, 난이도는 Iterative 피드백을 통해 점진적으로 증가한다. 자동 검증 체크리스트와 품질 관리 audit를 통해 데이터의 일관성과 실행 가능성을 확보하고, Determinacy가 높은 최적해를 선호하여 보상 신호의 방향성을 강화한다. 이를 통해 평가 체계의 진단력과 학습 신호의 질을 모두 높이고, PlanningBench 데이터가 외부 벤치마크 및 일반 지시-이행 벤치마크로의 전이에서도 효과를 보이는 것을 목표로 한다.

단락 1: PlanningBench의 전체 접근 방식은 real planning 시나리오를 추상화한 Task Taxonomy와 Constraint Taxonomy를 구축하고, 이들로부터 self-contained 인스턴스를 생성하는 constraint-driven pipeline에 기초한다. 단락 2: Task Taxonomy는 Scheduling, Allocation, Shift, Routing, Project/Operations, Emergency 등 6개 가족으로 구성되며 각 가족은 여러 subtasks를 포함한다. Constraint Taxonomy는 General Constraints, Task-specific Constraints, Specialized Stateful Constraints로 구분되며 각 TASK에 대해 Basic/Medium/Hard의 난이도 계층을 적용한다. 단락 3: 제약 풀에서 Nb, Nm, Nh의 확률 분포를 이용해 기본/중간/어려운 제약의 샘플 수를 정하고, Sb/Sm/Sh를 샘플링하여 후보 인스턴스(x, c)를 생성한다. 단락 4: Generator는 후보 인스턴스를 만들고 Responder가 해를 제시하면 Critic이 검증 점수 ρ와 통과 여부 u를 산출한다. u=1인 경우 난이도를 상향하고, 그렇지 않으면 현재 구성을 유지한다. 단락 5: 난이도 업데이트는 p^(k+1) = Normalize(p^(k) ⊙ exp(η·[−α, −β, −γ])) 형태의 확률 업데이트를 통해 기본/중간/어려운 제약의 가중치를 조정한다. 단락 6: 자동 검증 후 인간 품질 감사가 수행되며, 샘플의 recoverable 비율은 86.15%로 보고된다. 단락 7: Determinate Optimal Solutions를 선호하는 설계 원리는 보상 신호의 방향성을 강화하고, 학습의 안정성과 전이 가능성을 높인다.

4.1 PlanningBench를 평가 체계로 사용한 결과, 가장 강력한 모델인 GPT-5.4-xhigh가 All-pass 63.17% 및 Avg-pass 92.35%를 달성했다. 그다음으로 GPT-5.4-high 58.56% All-pass, 84.60% Avg-pass, GPT-5.4-medium 58.09% All-pass, 90.03% Avg-pass를 보였다. Open-source 모델의 경우 Seed-2.0-pro-high가 All-pass 44.33%, Avg-pass 84.02%로 상위권이었고, DeepSeek-V3.2-thinking 등이 37.13% All-pass와 80.21% Avg-pass를 기록했다. 실패 원인은 주로 Wrong Calculation / Assignment가 지배적이며, Constraint Omitted 비율은 4.2%~19.9%, State Tracking 4.≤% ~11.3% 등으로 나타났다. 4.2 Training 데이터로 PlanningBench를 활용한 일반화 실험에서 Syn-PlanningBench는 ChinaTravel에서 Avg-pass를 84.88%에서 88.12%로, All-pass를 50.92%에서 58.36%로 향상시켰다. TravelPlanner의 경우 Avg-pass가 80.84%에서 88.99%로 증가했고 All-pass는 28.85%에서 46.86%로 향상됐다. 일반 지시-이행 벤치마크(Multi-Challenge, Inverse IFEval, Collie)에서도 Syn-PlanningBench가 평균 성능 향상을 이끌었고, 특히 Collie에서 38.33%에서 53.17%로 큰 증가를 보였다. Syn-NotDetOptimal은 전이 효과가 작았고, Human-Authored 데이터와의 비교에서도 제약 구성과 검증 신호가 학습에 유효한 PlanningBench 데이터의 우수성을 시사한다. 4.2.4 Training Dynamics에서 Syn-PlanningBench는 solve-none 비율이 더 빨리 감소하고 solve-all 비율이 더 안정적으로 증가하며, 크리틱 보상도 더 매끄럽게 수렴했다. 전체적으로 Determinacy 있는 보상 신호가 PlanningBench 기반 강화학습의 안정성과 전이 성능을 높인다. 5 결론 PlanningBench는 real planning 시나리오에서 파생된 Task/Constraint Taxonomy와 Constraint-driven synthesis를 통해 확장 가능하고 검증 가능한 데이터를 생성하며, 평가와 planning-oriented training에 활용할 수 있는 데이터 풀을 제공한다. 실험적으로 PlanningBench는 강력한 모델에서도 All-pass 비율이 여전히 크게 남아 있음을 보였고, 제약 결합 및 전역 일관성의 중요성을 확인했다. 또한 GRPO 기반 학습은 외부 벤치마크로의 일반화와 일반 지시-이행 벤치마크로의 전이에서 긍정적 효과를 나타냈으며, 데이터의 Determinacy가 안정적이고 방향성 있는 보상을 가능하게 한다. 결론적으로, PlanningBench의 제약 기반 데이터 생성, 자동 검증, 보상 결정성은 LLM의 계획 능력 진단 및 개선에 유의미한 신호를 제공한다.

단락 1: PlanningBench의 전체 아키텍처는 Task Taxonomy와 Constraint Taxonomy를 기반으로 제약 주도 합성 파이프라인을 구성한다. 단락 2: Generator/Responder/Critic의 순환에서 Generator는 task/constraint 구성을 샘플링하고, Responder는 해를 제시하며 Critic이 verify를 수행한다. 단락 3: 제약 풀은 Basic/Medium/Hard로 구성되며, 난이도 조절은 Nb/Nm/Nh의 확률 분포 및 업데이트 규칙에 의해 동적으로 조정된다. 단락 4: 자동 검증 체크리스트는 입력 조건, 자원/시간 제약, 출력 형식 및 determinate objective를 포괄하며, 인간 품질 감사로 데이터 품질을 추가로 보장한다. 수식은 난이도 업데이트 규칙 p^(k+1) = Normalize(p^(k) ⊙ exp(η[−α, β, γ]))와 같은 형태로 제시되며, 이를 통해 기본/중간/어려운 제약의 가중치를 조정한다.