TokenPrices를 통한 LLM 가격 모니터링: 8주 간의 실무 인사이트

가격 정보의 분산과 업데이트 주기의 불확실성은 LLM 도입 초기 단계에서 예산 모델의 불안정을 초래한다. 이를 해결하기 위해 작성자는 주요 공급자의 가격 데이터를 매일 크롤링하는 자동 스크래퍼를 구축했고, 8주 간의 데이터를 분석해 가격 변화의 패턴을 파악했다. 결과적으로 대형 공급자의 가격은 59일 동안 변동이 없었고(적용 예시로 GPT-4-turbo의 1M 토큰당 입력 $10, 출력 $30 등 안정적 가격이 제시되었다), 가격 스프레드는 최대 600배에 이르는 큰 차이가 존재했다. 이러한 맥락에서 가격 알림 없이 운용하는 것은 위험하며, Together AI와 같은 제3자 호스팅 플랫폼의 가격 변화가 실제 비용에 직접적인 영향을 준다는 점이 확인됐다. 마지막으로 저자는 TokenPrices라는 도구를 만들어 1,100개 이상 모델과 33개 공급자를 매일 추적하고 변경 시점을 즉시 반영하는 대시보드/피드/API를 제공한다.