오픈-웨이트 LLM의 제약 비용: 구조화 출력 제약 하의 도구 호출 억제(Constraint Tax)에 대한 실증 연구

프로덕션 Agent는 외부 도구 호출과 JSON Schema 기반 구조화 출력을 동시에 요구하는 경우가 많다. 이 논문은 두 제약을 동시에 활성화하면 디코딩 수준의 문법 마스크가 도구 호출 토큰을 차단해 도구 실행이 완전히 사라질 수 있음을 실험적으로 확인한다.

Transformer 기반 생성기는 각 디코딩 스텝에서 모델이 산출한 logits에 대해 softmax를 적용해 다음 토큰을 샘플링한다. softmax는 각 토큰의 logit z_i에 대해 e^{z_i}/Σ_j e^{z_j}를 계산해 확률분포를 만든다. 디코딩 제약을 적용하는 프레임워크는 이 단계 이전 또는 직후에 특정 토큰들의 logits를 수동으로 −∞로 설정해 샘플링 확률을 0으로 만든다. 결과적으로 모델이 내부적으로 높은 선호도를 보이더라도 해당 토큰은 최종 생성에서 절대 선택되지 않는다.

전체 접근은 제약의 상호작용을 분리해 원인을 찾는 것과 구현 수준(프레임워크-디코더 연쇄)을 추적하는 두 축으로 구성된다. 실험 설계는 동일 프롬프트·도구·스키마를 유지한 채 세 조건(T1: tools ON, schema OFF / T2: tools ON, schema ON / T3: tools OFF, schema ON)을 비교해 도구 억제가 공동 제약에서만 발생하는지를 확인했다. 모델군으로는 다양한 파라미터 규모와 아키텍처(Qwen 계열, GPT-OSS 등) 및 두 가지 추론 프레임워크(SGLang, vLLM)를 포함해 범용성 검증을 수행했다. 근인 분석은 SGLang 추적을 통해 response_format→grammar_manager→xgrammar.compile_grammar→sampling_batch_info→apply_token_bitmask_inplace_triton로 이어지는 호출 체인을 검토하고 FSM 상태별 토큰 도달 가능성을 검사해 '<' 문자가 모든 상태에서 마스킹되어 XML형식 도구 호출 토큰이 차단되는 것을 확인했다. 완화 실험은 Transparent Two-Pass Execution을 시스템 수준에서 도입해 1차에서 자유롭게 도구를 호출하고 2차에서 수집 결과를 주입해 스키마 준수 출력을 생성하는 방식으로 수행됐다.

메인 결과는 T1에서 모든 평가된 오픈-웨이트 모델의 Tool Invocation Rate(TIR)가 100%였으나 T2에서는 해당 모델군의 TIR이 0%로 완전 소실된 점이다(논문 표 7). 반면 T3에서는 JSON Compliance Rate(JCR)가 높게 유지되어 스키마 준수 능력 자체는 보존되었다. SGLang과 vLLM 양 프레임워크에서 동일한 패턴이 관찰되어 프레임워크 의존성은 배제되었다. 스키마 복잡도(간단→중간→생산급)와 도구 강제옵션(tool_choice="required"), 다양한 SFT/GRPO 파인튜닝 실험에서도 억제는 해소되지 않았다. 근인 분석에서 FSM 기반 어휘 마스크가 '<' 토큰을 모든 상태에서 차단함이 확인되어 디코딩 단계의 토큰 제외가 직접적 원인으로 식별되었다. 완화 결과에서 Transparent Two-Pass Execution은 TIR을 0%에서 100%로 복원했고 JCR은 100%로 유지되었다. 평균 도구 호출 수는 세션당 5–8회로 보고되었다.

아키텍처 수준에서 문제는 API-layer의 response_format(JSON Schema) 파라미터가 프레임워크의 grammar 엔진(xgrammar)에 의해 FSM으로 컴파일되고, FSM 상태에 기반해 각 디코딩 스텝에서 어휘 비트마스크(bitmask)가 생성되어 logits에 적용되는 흐름에 있다. 구현 체인 예시는 다음과 같다: API response_format -> serving_chat.get_json_schema_constraint() -> grammar_manager -> xgrammar.compile_grammar() -> sampling_batch_info.update_regex_vocab_mask() -> GrammarMatcher.fill_next_token_bitmask() -> apply_token_bitmask_inplace_triton() -> logits[mask==0] = -inf. 수학적 관점에서, 모델이 산출한 logits z_i는 softmax 전 상태이며 e^{z_i}가 token 선택 가중치로 작용한다. 마스크 적용은 (mask_i==0)인 항목에 대해 z_i := -∞를 수행함으로써 softmax 확률을 0으로 만든다. 이 연산은 decoding-time 조작으로서 weight-space의 변화(예: SFT, GRPO)가 영향을 미칠 수 없는 비가역적 단계이다. 실험적 차별점은 동일한 프롬프트·스키마·도구 정의 하에서 T1/T2/T3를 비교해 제약의 상호작용을 분리한 점이다. 또한 도메인별 억제 패턴을 TS-A~TS-E로 분류해 억제 현상을 출력 패턴 수준에서 세분화했다. 구현적 권고로는 FSM 설계 시 도구 호출 형식(예: XML 태그, function-call 스타일)과 충돌하지 않도록 grammar를 확장하거나, 스키마 적용을 두 단계로 분리하는 오케스트레이션 논리가 요구된다.

평가 대상 모델군이 제한적이며(논문에 표기된 모델 집합에 한정), 벤치마크 크기가 대규모 학계 표준 수준은 아니다. CPI는 행동적 가설로 제시되며 내부적 인과를 확증하는 증거는 제공되지 않았다. 제안된 Two‑Pass 완화는 지연(latency)과 토큰 비용을 증가시키며 근본적 메커니즘을 제거하지는 못한다. 연구는 주로 도구 호출 워크플로에 집중하였고 MCP나 다중 에이전트 생태계로의 일반화는 추가 검증이 필요하다.