컨텍스트 효율성
컨텍스트 효율성은 동일한 품질을 유지하면서 모델에 전송하는 컨텍스트(프롬프트 및 관련 상태)의 양을 줄이는 능력을 말한다. 컨텍스트 전송량이 적으면 토큰 비용과 네트워크 지연이 감소하고, 반복 턴에서도 누적 비용을 줄여 전체 작업당 비용을 낮출 수 있다. Databricks 벤치마크에서는 특정 하니스가 턴당 컨텍스트를 약 3배 적게 전송하면서 유사한 결과를 얻어 컨텍스트 효율성이 비용에 미치는 영향을 사례로 제시했다.
