token-counting
토큰 계산
토큰 계산은 프롬프트·응답의 토큰 수를 산정해 비용을 추정하는 과정이다. 본 게시물에서 사용된 스크립트는 실제 토크나이저를 쓰지 않고 추정법으로 카운트한다는 한계가 명시됐다. 정확한 비용 비교와 최적화에는 정확한 토크나이저 기반 계측이 필요하다.
토큰 계산
토큰 계산은 프롬프트·응답의 토큰 수를 산정해 비용을 추정하는 과정이다. 본 게시물에서 사용된 스크립트는 실제 토크나이저를 쓰지 않고 추정법으로 카운트한다는 한계가 명시됐다. 정확한 비용 비교와 최적화에는 정확한 토크나이저 기반 계측이 필요하다.
