OpenAI·Anthropic·Gemini·Kimi 라이브 API 비교 벤치마크: 동일 작업에서 최대 10.6배 비용 차이

커뮤니티는 비용 투명성과 실제 청구 방식의 불일치에 대해 우려를 표명했고 제공자별 내부 추론 토큰 처리 방식에 대한 추가 정보 요구가 많았다. 실험이 라이브 API 기반으로 재현 가능하게 공개됐다는 점은 긍정적으로 평가되었고, 일부 사용자는 자신의 워크로드로 유사한 테스트를 돌려볼 것을 권고했다. 반면에 모델 성능과 비용의 균형을 어떻게 평가할지, 그리고 어떤 경우에 높은 비용이 정당화되는지에 대한 의견은 분열되어 있었다.

• 실제 운영에 앞서 대표적 워크로드를 대상으로 라이브 API에서 토큰 사용량과 비용을 직접 측정해 제공자 간 총비용을 비교해야 한다.
• 에이전트 설계 시 내부 추론 단계의 길이와 재시도 전략을 제한하거나 비용 제약을 명시적으로 도입해 실패 상황에서의 과도한 토큰 소모를 억제해야 한다.
• RAG나 다중회차 대화처럼 외부 문서 검색과 긴 컨텍스트를 요구하는 작업에서는 검색 횟수, 청크 길이, 반환 문서 수를 줄여 토큰 소비를 통제할 수 있는 실험을 병행해야 한다.

RAG

— 검색 증강 생성(RAG)은 외부 문서나 인덱스에서 관련 컨텍스트를 검색해 모델 입력으로 주입한 뒤, 모델이 그 컨텍스트를 바탕으로 답변을 생성하는 방식이다. 검색 단계에서 쿼리를 임베딩해 벡터 DB를 조회하고 관련 문서 청크를 반환하며, 반환된 청크가 모델의 프롬프트로 결합되어 응답이 생성된다. 비용과 응답 품질 측면에서 검색 횟수, 문서 길이, 모델이 처리하는 토큰 수가 중요한 영향을 미친다.

Agent

— 에이전트는 도구 호출, 계획 수립, 반복적 환경 상호작용을 통해 복합 작업을 수행하는 프레임워크로서 내부적으로 여러 단계의 계획·추론·도구 사용을 순차적으로 실행한다. 입력으로 작업 목표를 받고 내부 계획 생성과 각 단계의 실행을 거쳐 외부 API 호출이나 추가 질의를 수행한 뒤 최종 출력을 반환한다. 에이전트 설계는 단계별 토큰 소비와 실패 시 재시도 로직이 비용에 큰 영향을 준다.

Tokens

— 토큰은 모델 입력과 출력을 쪼갠 단위로서 추론 비용이 토큰 수에 비례해 청구되는 경우가 많다. 프롬프트 길이, 모델 내부의 중간 추론(visible 또는 invisible reasoning), 출력 길이가 모두 토큰 소비를 결정하므로 동일한 사용자 답변이라도 내부 추론 단계가 많으면 비용이 크게 증가한다. 각 제공자는 입력·출력·추론 토큰에 대해 서로 다른 요금 체계를 적용하므로 비용 예측을 위해 정확한 토큰 청구 규칙을 이해해야 한다.