오픈 모델과 폐쇄형 API 간 실시간 비용·지연·토큰 밀도 벤치마크 공유

게시글은 구체적 수치와 실측 로그를 포함해 관심을 끌었고 많은 댓글이 프롬프트·측정방법·재현 가능한 세부 절차 공개를 요청하는 방향으로 모였다. 동시에 여러 사용자가 본인 환경에서의 비슷한 또는 상반된 비율을 보고하며 재현성·데이터셋·출력 품질에 대한 논쟁이 일어났다. 품질 평가가 빠져 있다는 지적과 함께 임베딩 상위-K 불일치 사례를 근거로 비용 절감만으로 모델 전환을 권고할 수 없다는 경향이 우세했다.

• 벤치 결과를 자체 환경에 적용하려면 동일한 프롬프트와 배치 구성으로 비용·지연·토큰을 재측정할 것을 권고했다.
• 임베딩을 교체할 경우 비용뿐 아니라 top-K 검색 결과의 일관성 검증을 먼저 수행해 RAG 파이프라인의 반환 결과 차이를 확인할 것을 권장했다
• reasoning 또는 thinking 모드를 사용하는 워크로드는 모드 활성화 시 중간 토큰 생성량이 수배 늘어나는 점을 고려해 비용 추산 모델에 해당 항목을 포함시킬 것을 제안했다.

Token Density

— 같은 텍스트를 토크나이저로 전처리했을 때 생성되는 토큰 수의 비율을 가리킨다. 토큰 밀도는 동일한 입력에 대해 요금 산정 단위인 토큰 수를 직접 변화시키므로 같은 토큰당 요율이라도 실제 비용에 큰 영향을 준다. 본문에서는 GLM-5.1이 Sonnet보다 약 11.5% 더 높은 토큰 밀도를 기록하여 비용 비교 시 중요 변수가 되었다.

Thinking Mode

— 모델의 내부적으로 더 많은 추론·중간 토큰을 생성하도록 설정하는 모드를 의미하며 활성화 시 토큰 사용량이 크게 증가한다. 본문에서는 동일 모델에서 reasoning(thinking) 모드 온/오프를 비교해 토큰 사용량이 수배로 늘어나는 효과를 측정했다. 이 차이는 단순 호출 비용 대비 실사용 비용에 결정적 영향을 미친다.

Cost per MToken

— 토큰 사용량을 백만 토큰(MTok) 단위로 환산해 요금을 비교하는 지표로, 토큰 단가와 토큰 밀도를 함께 고려할 수 있게 해 준다. 본문에서는 임베딩 비용을 MTok 단위로 표기해 모델 간 비용 효율을 비교했다. 이 지표는 배치 크기와 토크나이저 차이를 보정하는 데 유용하다.

RAG

— 검색된 문서나 임베딩 결과를 컨텍스트로 주입해 모델이 생성할 수 있도록 하는 파이프라인이다. 본문에서는 임베딩 비용·속도 차이가 RAG 파이프라인 전체 비용과 결과 품질에 어떤 영향을 주는지에 대해 경고를 남겼다. RAG에서는 임베딩 품질과 검색 결과의 중복·분산이 최종 응답에 직접 영향을 준다.