한 달 동안 고객지원 에이전트의 총이익률이 약 60%인 줄 알았다가 실제로 적자로 전환된 경험

작성자는 평균 대화당 토큰 지표만 보고 서비스의 총이익률이 약 60%라고 판단했으나 일부 엔터프라이즈 고객이 실제로 도입되면서 마진이 음수로 전환되어 근본 원인을 조사했다는 경험을 공유했다. 조사 결과 일부 고객이 툴 호출, 벡터 DB 쿼리, 웹 검색, TTS 등 비-LLM 호출을 빈번히 발생시키고 타임아웃·레이트리밋으로 재시도가 발생하며 긴 컨텍스트를 반복 전송해 토큰 비용이 비선형으로 증가한 점이 확인되었다. 작성자는 이러한 손실을 막기 위해 비용을 모델별이 아닌 고객별로 귀속하고 비-LLM 호출과 재시도를 비용으로 집계하며 고객별 기간 예산 상한을 두어 과다 사용 시 경량 모델로 우회시키는 실무적 대책을 제안했다. 이 접근은 평균 지표로 보이지 않는 꼬리 사용자를 발견하고 즉각적인 비용 통제를 가능하게 했으며 관련 데이터를 기반으로 요금제와 라우팅 정책을 재설계할 근거를 제공했다.