Databricks 벤치마크는 하니스 설계가 동일 모델의 실무 비용을 크게 바꾼다는 결과를 제시했다. 동일 모델이라도 실행 환경에 따라 완료 비용이 두 배 이상 달라질 수 있음이 관찰되었다. 일부 하니스는 턴당 전송하는 컨텍스트를 약 3배 줄이면서 유사한 품질을 달성했다.

작성자는 Databricks의 결과를 근거로 토론을 촉발했고 독자들에게 실무 측정 방법을 묻는 형태의 글을 올렸다. 본문은 벤치마크의 절대 등수는 그들의 코드베이스·작업 분포에 의존한다고 전제하면서도 하니스 효율성 결과는 일반화 가능하다고 판단했다. 이에 따라 커뮤니티에서는 비용 측정 지표와 하니스 통제 여부에 대한 경험 공유와 실무 사례가 이어질 것으로 보인다.

• 벤치마크와 실무 측정에서는 모델 호출 비용뿐 아니라 컨텍스트 전송량, 도구 호출 비용, 재시도 횟수와 실패 처리 비용을 합산해 '검증된 작업당 비용'을 산출해 기록하는 것이 필요하다. 이 방식은 동일한 작업이 여러 턴에 걸쳐 재시도될 때 누적되는 비용을 포착하므로 모델 선택과 하니스 설계의 실질적 트레이드오프를 드러낸다. 모델 간 순수 성능 비교가 목적이라면 하니스를 고정해 통제된 실험을 수행하고, 운영 성과 비교가 목적이라면 하니스를 포함한 종합 지표로 평가해야 한다.

Agent Harness

— 에이전트 하니스는 모델과 외부 도구, 테스트 스위트, 상태 관리 로직을 연결하는 실행 환경이다. 입력을 받아 어떤 컨텍스트를 모델에 보내고 실패를 어떻게 요약하며 재시도를 어느 시점에 수행할지를 결정하는 여러 구성 요소로 이루어져 있어 실제 작업 비용과 처리 횟수에 직접 영향을 준다. 하니스 설계는 동일 모델로도 전체 비용과 완료 소요에 큰 차이를 만들기 때문에 벤치마크 비교에서 통제 변수로 다뤄야 한다.

Cost per Verified Task

— 검증된 작업당 비용은 모델 호출 비용뿐 아니라 도구 사용, 컨텍스트 전송량, 재시도 비용과 같은 전체 연산 비용을 작업이 실제로 테스트를 통과해 검증될 때까지 합산한 총비용을 작업 단위로 나눈 지표이다. 이 지표는 단순 토큰 단가나 요청당 비용이 놓치는 반복 시도와 상태 유지 비용을 포함하므로 실무 완료 비용을 더 정확히 반영한다. 벤치마크에서 하니스가 달라질 때 발생하는 비용 변동을 비교할 때 유용한 비교 기준으로 사용된다.

Context Efficiency

— 컨텍스트 효율성은 동일한 품질을 유지하면서 모델에 전송하는 컨텍스트(프롬프트 및 관련 상태)의 양을 줄이는 능력을 말한다. 컨텍스트 전송량이 적으면 토큰 비용과 네트워크 지연이 감소하고, 반복 턴에서도 누적 비용을 줄여 전체 작업당 비용을 낮출 수 있다. Databricks 벤치마크에서는 특정 하니스가 턴당 컨텍스트를 약 3배 적게 전송하면서 유사한 결과를 얻어 컨텍스트 효율성이 비용에 미치는 영향을 사례로 제시했다.