미 국방부 보고 후 미 육군이 연간 토큰을 조기 소진해 사용량 제한을 재도입한 사례

미 국방부는 조직 내 AI 사용 확대를 공개했지만 미 육군에서는 엔터프라이즈 LLM 플랫폼 Ask Sage의 중앙 토큰 풀이 예상보다 빠르게 소진되어 사용 제한을 다시 도입했다. Ask Sage는 Gemini, Llama, ChatGPT 등 여러 모델을 실행할 수 있게 구성되며 모델 호출 빈도와 응답 길이에 따라 토큰이 소비되어 대규모 집단 사용 시 자원 소진이 급격히 증가할 수 있다. 군 내부 이메일은 5월 무제한 토큰 제공 발표 이후 6월 중순에 풀 소진이 발생했고 현재 수준으로는 10월 1일 이후 갱신 여부가 불확실하다고 밝힘으로써 중앙 할당량 설계와 실시간 사용 모니터링의 중요성이 드러났다. 조직 차원의 AI 도입은 모델 제공뿐 아니라 할당량 정책과 비용 통제 메커니즘을 함께 설계해야 한다는 교훈을 제시한다.