정확도를 넘어서: 도구 통합 추론에서의 비효율성 패턴 규명

LLM이 외부 도구를 사용하는 과정에서 발생하는 KV-Cache 축출과 긴 응답 데이터는 기존의 토큰 수 기반 지표로는 측정할 수 없는 막대한 하드웨어 비용을 초래한다. 이 논문은 하드웨어 특성을 반영한 새로운 효율성 지표 PTE를 통해 도구 사용 시 발생하는 비효율적 패턴을 정량화하고, 단순히 도구를 많이 쓰는 것이 정답률 향상으로 이어지지 않음을 입증했다.

Transformer 모델의 추론은 프롬프트를 한꺼번에 읽는 프리필(Prefill)과 토큰을 하나씩 생성하는 디코드(Decode) 단계로 나뉜다. 프리필은 GPU 연산기에 의존하는 반면, 디코드는 메모리에서 데이터를 읽어오는 속도에 의존한다. 기존에는 단순히 생성된 토큰 수만 세었으나, 이는 메모리 대역폭 병목으로 인해 시퀀스가 길어질수록 디코드 비용이 기하급수적으로 늘어나는 실제 하드웨어 상황을 반영하지 못한다.

특히 외부 도구를 사용하는 경우, 도구의 긴 응답 결과가 컨텍스트에 추가되면서 KV-Cache가 비대해지거나, 도구 호출 시마다 기존 캐시가 삭제되어 재계산이 발생하는 비대칭적 비용이 발생한다. 이 논문은 '디코드 1단계의 비용이 프리필 토큰 몇 개와 맞먹는가'를 계산하는 감마(gamma) 계수를 도입하여 서로 다른 두 단계를 하나의 물리적 단위로 통합했다.

결과적으로 PTE는 하드웨어의 실제 연산 능력과 메모리 속도를 반영하여, 모델이 내부적으로 고민하는 시간과 외부 도구 응답을 처리하는 시간을 동일한 저울 위에서 측정할 수 있게 한다. 이를 통해 겉보기에는 토큰 수가 적어도 실제로는 하드웨어 자원을 엄청나게 소모하는 비효율적인 추론 과정을 정확히 식별해낼 수 있다.

PTE(Prefill Token Equivalents)는 추론 궤적의 총 비용을 프리필 토큰 단위로 환산하여 합산한다. [각 턴의 프리필 토큰 수 + (감마 계수 * 누적 컨텍스트 길이 * 생성된 토큰 수)]를 계산하여 전체 비용을 산출한다. 여기서 감마(gamma)는 하드웨어의 연산 강도(HOI)와 모델의 아키텍처 파라미터(레이어 수, 히든 차원 등)를 결합하여 도출된 상수값이다.

감마 계수 산출을 위해 하드웨어 운영 강도(HOI)를 정의한다. [GPU의 최대 연산 성능(FLOPs) / 메모리 대역폭(Bytes/s)]을 계산하여 해당 하드웨어가 초당 전송량 대비 수행할 수 있는 연산량을 구한다. NVIDIA H100 기준 HOI는 756.5 FLOPs/Byte로 산출되며, 이를 모델의 파라미터 구조와 결합하여 디코드 1단계의 상대적 비용을 결정한다.

실험 프레임워크는 vLLM 엔진을 기반으로 구축되었으며, Serper API(검색), Jina API(웹 방문), Python 샌드박스 등 3가지 도구를 통합했다. MATH500, AIME, SimpleQA 등 5가지 벤치마크에서 모델의 추론 로그를 토큰 단위로 기록하고, 각 단계별 프리필 토큰 수(D_prefill), 디코드 토큰 수(D_decode), 누적 시퀀스 길이(L_seq)를 수집하여 PTE를 계산한다.

PTE 지표는 실제 소요 시간(Wall-clock latency)과 0.9253의 매우 높은 상관관계를 보인 반면, 단순 토큰 수는 -0.3750으로 실제 지연 시간과 무관하거나 오히려 반대되는 경향을 보였다. 이는 토큰 수가 적더라도 컨텍스트가 길어지면 메모리 병목으로 인해 실제 시간은 더 오래 걸릴 수 있음을 의미한다.

실험 결과, 동일한 정확도를 가진 모델이라도 PTE 비용은 최대 10배 이상 차이가 날 수 있음이 확인됐다. 예를 들어 Qwen3-235B-Thinking 모델은 AIME25 벤치마크에서 일반 모델 대비 16.7%의 정확도 향상을 보였으나, 쉬운 문제인 SimpleQA에서는 정확도가 3.4% 하락하면서도 PTE 비용은 4.2배 급증하는 '과잉 사고(Over-thinking)' 현상을 보였다.

통계 분석 결과, 오답을 낸 궤적은 정답 궤적보다 일관되게 높은 PTE를 기록했다. 이는 모델이 확신이 없을 때 불필요하게 도구를 반복 호출하거나 방대한 정보를 검색하면서 컨텍스트를 비대하게 만들기 때문이다. 특히 '도구 포맷 붕괴' 패턴을 보인 Tongyi-Deepresearch 모델은 가장 높은 PTE 수치를 기록하며 효율성이 급격히 저하됐다.

PTE는 Transformer 추론의 물리적 병목 현상을 모델링하기 위해 Roofline 모델의 원리를 차용했다. 프리필 단계의 비용은 [2 * 파라미터 수] FLOPs로 근사하고, 디코드 단계의 메모리 접근량은 [4 * 레이어 수 * 히든 차원] Bytes로 계산한다. 이를 하드웨어의 HOI와 결합하여 디코드 비용을 프리필 토큰 단위로 정규화한다.

최신 아키텍처인 Grouped Query Attention(GQA)과 Multi-Head Latent Attention(MLA)을 지원하기 위해 감마 계수 산출식을 확장했다. GQA의 경우 KV 헤드 비율에 따라 비용을 스케일링하며, MLA의 경우 압축된 차원(d_latent, d_rope)을 반영하여 메모리 접근량을 정밀하게 계산한다.

논문은 4가지 주요 비효율 패턴을 정의했다. 1) Confirmatory: 내부적으로 답을 낸 후 확인용으로 도구를 써서 컨텍스트를 늘리는 행위, 2) Tool-Mixing: 서로 다른 도구 세트를 혼용하며 캐시를 오염시키는 행위, 3) Lack of Priors: 도구 사용법 미숙으로 빈 결과를 초래하는 행위, 4) Format Collapse: 잘못된 JSON 형식 등으로 파싱 에러를 유발해 재시도를 반복하는 행위이다.

PTE는 Transformer의 연산 및 메모리 비용에 집중하므로 외부 도구의 API 호출 지연 시간(API Latency)은 포함하지 않는다. 또한 감마 계수는 아키텍처 효율성을 단순화한 추상화 모델이므로, 특정 하드웨어의 커널 최적화나 런타임 동역학을 완벽하게 포착하지 못할 수 있다. 실험 범위가 특정 모델과 작업에 한정되어 있어 더 넓은 도메인에서의 일반화 가능성에 대한 추가 연구가 필요하다.