에이전트 평가 최적화: 부품별 튜닝인가, 전체 하네스 최적화인가?

작성자는 에이전트 성능 최적화에서 프롬프트·컨텍스트 블록·검색·개별 도구 같은 구성요소를 따로 튜닝할지, 아니면 로직과 컨텍스트를 포함한 전체 하네스를 통합 최적화할지 질문한다. 부분별 튜닝은 개별 모듈을 빠르게 반복하고 개선하기에 실무에서 먼저 선택되는 경향이 있으며 작성자 또한 그럴 것이라는 직관을 밝힌다. 전체 하네스 최적화는 모듈 간 상호작용을 반영하는 엔드투엔드 평가 설계가 필요하며, 이를 위해 사용자 플로우 기반 시나리오와 일관된 메트릭이 요구된다. 작성자는 실제로 어떤 평가를 쓰는지, 전체 최적화를 어떻게 수행하는지에 대한 플레이북과 오픈소스 사례를 요청하고 있어 실전 사례 공유를 통해 더 나은 최적화 전략을 얻어야 한다.