에이전트 회귀를 막는 평가 중심 개발(EDD): 오프라인 실험과 검사로 조용한 실패를 포착하는 방법

커뮤니티 반응은 실무적 공감이 큰 편이며 많은 사용자가 조용한 회귀의 위험과 비용 통제 문제에 대해 유사한 경험을 공유했다. 일부 댓글은 입력 시뮬레이션의 현실성 확보와 판정자 설계의 자동화 비용에 대한 우려를 표했고, 다른 댓글은 회귀셋 유지와 시스템 프롬프트 모킹의 실무적 유용성을 지지했다. 전반적으로 방법론에 대한 긍정적 수용이 많았으나 온라인·오프라인 경계와 예산 캡 설정은 추가 논의가 필요한 쟁점으로 남아있다.

• 과거 로그를 이용해 입력을 시뮬레이션하고 변경 전후를 동일 범위로 실행해 비교하면 조용한 회귀를 사전에 탐지할 수 있으므로 병합 전에 이 절차를 루틴화할 것.
• 판정자는 결정론적 코드 메트릭과 별도 LLM 판정자를 병행해 정량적·주관적 평가를 분리하고 무거운 판정자는 오프라인에서만 돌리며 운영 중에는 샘플링으로 비용을 제한할 것.
• 중요한 핵심 로직을 보호하는 지속 회귀셋을 유지하고 새 기능용 합성셋은 일회성으로 관리해 회귀 탐지와 기능 검증 역할을 분리할 것.

• 변경을 병합하기 전에 과거 트레이스를 바탕으로 입력을 시뮬레이션하고 동일 범위를 두 번 실행해 결과를 비교하면 표면적 오류가 없어도 발생하는 회귀를 포착할 수 있다.
• 무거운 판정자는 오프라인에서 결정론적 코드 메트릭과 LLM 판정자를 병행해 실행하고 운영 환경에서는 샘플링만 수행함으로써 평가 정확도와 비용을 균형 있게 관리해야 한다.
• 시스템 프롬프트 레이어를 모킹해 모델이 받는 컨텍스트를 재현하면 환경 전반을 복제하기 어려운 상황에서도 회귀 검증 신뢰도를 높일 수 있다.
• 새 기능용 일회성 합성셋과 핵심 보호용 지속 회귀셋을 병행해 유지하면 새 기능의 영향 범위를 좁히되 핵심 로직의 퇴행을 지속적으로 감시할 수 있다.