단순 속도보다 중요한 지표: 유효 초당 토큰 수(eTPS) 제안

작성자가 제안한 새로운 지표에 대해 대체로 흥미롭다는 반응이며, 특히 오답에 대한 페널티 부여 방식과 하드웨어 정규화 여부에 대해 활발한 의견 교환이 이루어지고 있다.

• 모델 선택 시 벤치마크의 TPS 수치만 보지 말고, 실제 워크플로에서 정답을 내놓기까지 걸리는 전체 시간을 직접 측정하라.
• 소형 모델을 사용할 때는 속도 이득이 수정 작업으로 인해 상쇄되지 않는지 eTPS 관점에서 검토하라.

• LLM의 진정한 성능은 단순한 토큰 생성 속도가 아니라, 수정 없이 정확한 답변에 도달하는 '유효 속도'로 평가해야 한다.
• eTPS 지표를 적용하면 원시 속도가 빠른 소형 모델보다 속도는 느려도 정확도가 높은 대형/최적화 모델이 더 높은 평가를 받을 수 있다.
• 성능 측정 시 하드웨어 사양(예: RTX 5060, VRAM 용량)을 반드시 명시해야 하며, eTPS는 하드웨어 간 직접 비교보다는 특정 시스템 내 효율 측정에 적합하다.