에이전트 회귀를 막는 평가 중심 개발(EDD): 오프라인 실험과 검사로 조용한 실패를 포착하는 방법

커뮤니티 반응은 실무적 공감이 큰 편이며 많은 사용자가 조용한 회귀의 위험과 비용 통제 문제에 대해 유사한 경험을 공유했다. 일부 댓글은 입력 시뮬레이션의 현실성 확보와 판정자 설계의 자동화 비용에 대한 우려를 표했고, 다른 댓글은 회귀셋 유지와 시스템 프롬프트 모킹의 실무적 유용성을 지지했다. 전반적으로 방법론에 대한 긍정적 수용이 많았으나 온라인·오프라인 경계와 예산 캡 설정은 추가 논의가 필요한 쟁점으로 남아있다.

• 과거 로그를 이용해 입력을 시뮬레이션하고 변경 전후를 동일 범위로 실행해 비교하면 조용한 회귀를 사전에 탐지할 수 있으므로 병합 전에 이 절차를 루틴화할 것.
• 판정자는 결정론적 코드 메트릭과 별도 LLM 판정자를 병행해 정량적·주관적 평가를 분리하고 무거운 판정자는 오프라인에서만 돌리며 운영 중에는 샘플링으로 비용을 제한할 것.
• 중요한 핵심 로직을 보호하는 지속 회귀셋을 유지하고 새 기능용 합성셋은 일회성으로 관리해 회귀 탐지와 기능 검증 역할을 분리할 것.

평가 중심 개발(Evaluation-Driven Development (EDD))

— 코드나 프롬프트 변경을 병합하기 전에 오프라인으로 동일 범위의 입력을 실행해 성능과 회귀 여부를 비교하는 워크플로이다. 입력 시뮬레이션 → 실제 에이전트 실행 → 판정자(자동·LLM)로 점수화하는 단계로 구성되어 조용한 회귀를 찾아내는 것이 주요 목표이다. 운영 중 비용과 프라이버시 제약으로 인해 온라인 전수 검증이 불가능할 때 실무에서 회귀 방지 게이트로 활용된다.

오프라인 평가(Offline Evaluation)

— 프로덕션 트래픽을 직접 사용하지 않고 저장된 또는 합성한 입력을 로컬 또는 격리된 환경에서 실행해 결과를 계량화하는 절차이다. 입력만 시뮬레이션하고 실제 에이전트를 헤드리스로 구동하여 툴 호출 로그와 응답을 기록한 뒤 비교 메트릭을 산출하는 방식으로 작동한다. 온라인 비용을 줄이고 반복 실험을 저비용으로 수행하려는 목적에서 중요하다.

회귀 보호 데이터셋(Regression Set)

— 시스템의 핵심 동작을 장기간 보장하기 위해 보존하는 검증용 데이터셋으로, 새 기능의 도입 전후 결과를 비교하는 기준으로 사용된다. 새로 만든 임시 합성셋과 달리 지속적으로 유지되며 핵심 로직의 퇴행을 탐지하는 데 초점이 맞춰진다. 회귀 세트는 재현 가능한 입력과 기대 출력을 포함해야 하며 자동화된 비교의 기준점이 된다.

시스템 프롬프트 레이어(System Prompt)

— LLM이 수신하는 최상위 컨텍스트로서 모델이 보게 되는 전체 입력 중 고정된 지침을 포함하는 부분이다. 프로덕션 상태를 모킹할 때 이 레이어를 재현하면 실제 서비스 환경에서 모델이 받는 의도된 컨텍스트를 복제할 수 있다. 시스템 프롬프트가 동작의 전부이므로 회귀 탐지 시 핵심 변수로 처리된다.