Claude Haiku 4.5 에이전트의 프롬프트 반복 실험: 성공률은 동일하나 토큰 효율성 13% 향상

작성자는 실험 결과가 결정적이지는 않으나 효율성 측면에서 흥미로운 발견임을 언급하며 추가 연구의 필요성을 제안했다.

• 에이전트 시스템 설계 시 프롬프트 반복 기법을 적용하여 토큰 비용 절감 가능성을 테스트할 것
• 성능 평가 지표에 '작업당 평균 토큰 사용량'과 '평균 턴 수'를 포함할 것

• 프롬프트 반복 기법은 작업 성공률을 높이지 않더라도 출력 토큰 사용량을 약 13% 절감하는 효과가 있다.
• AI 에이전트의 성능 평가 시 단순 성공 여부뿐만 아니라 완료까지의 턴 수와 토큰 효율성을 함께 고려해야 한다.
• 고정된 벤치마크 데이터셋은 실제 운영 환경에서의 효율성 개선을 충분히 반영하지 못할 수 있다.