CAVEWOMAN: 언어적 입력·출력 압축 하에서 대형 언어 모델의 행동

추론 비용은 입력 토큰과 출력 토큰 양쪽에 의존하며 출력 토큰의 단가가 보통 더 높다. 같은 항목에서 입력 축약과 출력 축약을 비교하면 실제 청구액(realized cost)과 생성 텍스트의 의미적 일치가 서로 다르게 움직여 배포 의사결정에 직접적인 영향을 준다.

대형 언어 모델의 추론 비용은 입력과 출력 토큰 수에 비례하며, 서비스 요금제에서는 출력 토큰의 단가가 보통 입력보다 4–8배 높다. 따라서 동일한 토큰 수 절감이라도 어느 채널을 축소하느냐에 따라 실질 청구액이 달라진다.

입력 압축은 질문에서 function-word나 문장구조를 제거해 입력 토큰을 줄이지만 모델이 부족한 정보를 보완하려고 더 긴 출력을 생성하는 보상적 거동을 보인다. 출력 토큰의 단가가 높으므로 이 보상적 출력 증가는 입력 토큰 절감으로 얻은 이득을 상쇄하거나 역전시켜 전체 실현 비용을 올린다.

출력 제약은 모델에게 더 짧고 telegraphic한 응답 레지스터를 강제해 실제 청구되는 출력 토큰을 줄인다. 이 방식은 비용을 절감하지만, 모델의 무제약 생성(L0)에서 보인 표면적 표현(surface text)과의 일치를 훼손할 수 있다. 결과적으로 정확도(정답 여부)는 유지되는 경우가 많지만 모델이 원래 문장으로 표현한 추론흐름과 표면 형태는 분리될 수 있다.

따라서 '토큰 수만 줄이면 비용이 내려간다'는 단일 지표 접근은 오도한다. 실용적 비용 설계는 어떤 채널을 압축할지, 압축 후 출력의 의미적 일관성(감시·감사 로그 필요성 여부)을 함께 고려해야 한다.

전체 접근: 동일 모델 ℳ와 동일 문항 x에 대해 두 지점에서 동일한 품사 기반 필터 φ_ℓ을 적용한다. Condition A는 사용자 메시지를 φ_ℓ로 전처리해 모델에 입력하고 시스템 프롬프트는 중립으로 유지한다(입력 압축). Condition B는 질문은 보존하되 시스템 프롬프트로 출력 레지스터를 φ_ℓ와 같은 수준으로 제한한다(출력 제약). 각 레벨 L0–L4은 보존할 품사군과 토큰 예산(max_new_tokens={400,300,200,150,20})으로 정의된다.

메인 결과(Finding 1): 출력 압축은 API 모델 다수와 공개 가중치 모델에서 실현 항목별 비용을 평균 1.4–2.4× 절감했고, 최적 셀에서는 최대 3× 절감이 관찰됐다. 반대로 동일한 수준의 입력 압축은 모델의 보상적 출력 확장으로 인해 평균 ≈1.15× 비용 증가를 유발했고, 개별 데이터셋에서는 최대 1.8×, 더 강한 압축(L4 등)에서는 최대 2.7×까지 비용이 증가했다.

표면 텍스트 탈동조(Finding 2): L1 출력 제약에서 비추론 모델 패널의 생성 중 51.9%가 정답이면서도 L0 동일-채널 생성과의 bidirectional NLI entailment를 잃었다. 길이 일치 재채점 시 이 비율은 80.4%로 증가해 단순한 길이 차이로는 설명되지 않는 표면적 불일치가 존재함이 확인됐다.

추가 분석: LLMLingua-2 학습 기반 압축과 여러 보조 의미 판정기에서 결과가 재현되었고, 통계적 유의성은 Wilcoxon signed-rank 테스트 및 Benjamini–Hochberg 보정 후에도 유지됐다. 또한 일부 관찰치(예: MMLU-STEM의 겉보기 성능 개선)는 응답 추출률(answer-extraction-rate) 회복에 기인한 것으로 분리하여 보고했다.

아키텍처·파이프라인: 실험은 채팅 템플릿(시스템 프롬프트 + 사용자 메시지)에 대해 단일 결정적 spaCy 품사 태깅을 사용해 입력을 필터링하거나(Condition A) 레벨별 시스템 프롬프트로 출력 레지스터를 강제하는(Condition B) 두 채널을 구성했다. 각 항목은 L0–L4로 처리되며 동일 항목에서 두 채널을 비교했다.

핵심 메커니즘·수식: 항목별 실현 비용은 C = n_in p_in + n_out p_out로 계산된다. 즉, 입력 토큰 수 n_in과 출력 토큰 수 n_out에 각각 단가 p_in, p_out을 곱해 더한다 → 이 합이 항목별 청구액 C가 된다 → 토큰 절감은 반드시 C 감소로 이어지지 않으며 출력 토큰이 더 비싼 경우 출력 확장은 C를 증가시킨다. 이 수식은 입력 절감과 출력 보상 사이의 정량적 경쟁을 설명한다.

평가 지표·판정기: 작업 정확도는 정규표현식 기반 추출과 숫자 허용치(0.01)를 적용했고, 참조-텍스트 일치는 DeBERTa 기반 bidirectional NLI를 헤드라인 기준으로 사용했다. 추가로 11개의 보조 의미적 기준을 병행해 강건성을 확보했다. L4는 출력 제약에서 응답만 요구하므로 참조-텍스트 평가는 제외됐다.

데이터·모델·세부 설정: GSM8K, BoolQ, ARC-Easy, CommonsenseQA, MMLU-STEM을 사용해 총 11,465개 항목을 평가했다. max_new_tokens는 L0–L4에서 {400,300,200,150,20}으로 고정했다. 모델별로 DeepSeek-R1의 숨겨진 토큰과 Qwen3.5의 선택적 thinking 모드 같은 구현 세부가 비용 산정에 영향을 줄 수 있음을 명시했다.

Bidirectional NLI 판정기는 표면 텍스트 일치(surface-text)만 측정하며 절대적 프로포지셔널(명제적) 보존을 의미하지 않는다. L0-A/L0-B 사이의 시스템 프롬프트 차이가 만든 노이즈 플로어를 완전히 분리하지 못했다. 사용한 5개 벤치마크는 모두 짧고 구조화된 정답(숫자·불리언·MCQ)에 한정되며 장문 생성이나 요약과 같은 작업에는 결과를 일반화하지 못한다. 실험은 greedy decoding으로만 수행되었고 샘플링 기반 디코딩은 범위 밖이다. 두 개의 API 공급자, 8개 모델로 구성된 패널이므로 공급자·가족 수준 결론은 내리지 않았다.