기업 업무 기반 GDPevo 자기진화 벤치마크

왜 중요한가

기업 업무에는 회사별로 정의된 결정 규칙들이 많아 규칙을 학습하고 조합할 수 있어야만 실무 과제를 안정적으로 자동화할 수 있습니다. GDPevo는 이러한 경제적 가치가 높은 CRM·ERP·재무·의료·법률·데이터 업무를 대상으로 규칙을 분해해 훈련과 검증에 재배치함으로써 훈련 경험이 검증 시 실제로 기여했는지를 명확히 가릴 수 있게 설계되어 있습니다. 또한 자동화된 파이프라인으로 노출된 과제를 빠르게 갱신할 수 있어 데이터 오염 문제에 실용적으로 대응할 수 있습니다.

핵심 기여

규칙 혼성화로 전이의 귀속성을 확보

업무 워크플로를 원자적 규칙으로 분해하고 훈련 과제에는 규칙 일부만 흩뿌린 뒤 검증 과제에서 규칙을 재조합하는 구성으로, 검증 시 성능 향상이 단순 암기가 아니라 훈련으로부터 학습된 규칙의 조합적 적용 때문인지 판별할 수 있도록 설계했습니다. 이 방식은 전이의 원인을 명시적으로 추적 가능하게 만들어 벤치마크의 해석성을 높입니다. 규칙 단위의 체크가 가능해 결정론적 채점으로 실패 원인도 규칙별로 되짚을 수 있습니다.

완전 자동화된 240과제 파이프라인과 데이터셋

시드 시나리오 수집, 작업군 생성, 보정·검토의 세 단계 에이전트 파이프라인으로 GDPevo V1(120과제)과 V2(추가 120과제)를 자동 생성해 총 240과제를 제공하며, 파이프라인은 공개되므로 반복 재생성으로 오염된 공개 세트를 빠르게 교체할 수 있습니다. 각 작업군은 공통 환경과 5개의 훈련·5개의 검증 과제로 구성되어 훈련→검증 분리가 엄격히 보장됩니다. 또한 채점기는 LLM 판정 대신 규칙 기반 코드 테스트를 사용해 재현성과 원인 분석이 가능합니다.

다양한 감독 유형·에이전션 조합의 종합 평가

네 가지 감독 유형(base, fewshot, reflect, self)과 여러 모델·harness 조합을 대상으로 스킬 기반 진화를 평가해 fewshot이 성능 향상에서 가장 안정적인 감독이라는 결과를 얻었습니다. 단일 에이전트의 성능이 향상되더라도 최대치인 완전 정보 오라클(91.6%)과는 큰 격차가 남아 현재 에이전트의 자기진화 능력이 제한적임을 관찰했습니다. 비용(토큰·턴·금전)을 1차 지표로 다루어 정확도와 자원 소비의 트레이드오프를 함께 보고합니다.

핵심 아이디어 이해하기

기업 업무는 회사별 규칙(예: 우선순위 기준, 블랙리스트, 만료 규정)으로 운영되며 이러한 규칙은 외부 세계지식에 존재하지 않는 내부 규정입니다. GDPevo는 동일 환경 내에서 그 규칙들을 원자 단위로 분해해 훈련 과제들에 규칙 조각을 노출시키고 검증 과제에서 이들 조각을 새로운 조합으로 요구함으로써, 에이전트가 훈련 경험으로부터 규칙을 추출하고 조합(composition)하여 적용할 수 있는지를 측정하는 구조를 구현합니다. 이 설계는 입력(예제·훈련 과제)→처리(규칙 추출·스킬 생성)→출력(검증 과제의 규칙 조합 적용)으로 이어지는 인과 경로를 명확히 해 전이의 귀속성을 확보합니다.

방법론

데이터 생성은 세 단계로 자동화되어 있으며 첫 단계에서 시드 시나리오를 외부 도메인 벤치마크로부터 수집하고 두 번째 단계의 오케스트레이터가 환경 사양·작업 청사진·원자 규칙·작업–규칙 매트릭스를 생성합니다. 세 번째 단계에서는 환경 빌더와 작업 빌더가 각 작업을 구현하고 보정·검토 단계에서 캘리브레이션 에이전트와 6명의 리뷰어 에이전트가 난이도(베이스 40–60%)·진화 개선량(약 0.1–0.3 향상)·상한(0.8 미만 유지) 조건을 검증해 합격한 그룹만 배포합니다. 평가 시에는 결정론적 규칙 채점기, 토큰·턴·금전 비용 측정, 세 번의 반복 실행 평균 등의 절차를 통해 점수의 재현성과 비용 관점의 비교 가능성을 확보했습니다.

주요 결과

전체 실험에서 fewshot 감독이 모든 에이전트에 대해 가장 높은 평균 정확도를 얻었고 어떠한 감독 형태라도 base보다 개선을 보였으며 향상폭은 에이전트별로 2.59~16.44 percentage points 범위였습니다. 완전 정보 오라클로 추정한 상한은 91.6%로, 최선의 진화된 구성들도 이 한계와는 상당한 간격을 유지했습니다. 비용 관점에서는 GPT-5.5 fewshot이 정확도를 +15.14 percentage points 올리면서 테스트 시 비용을 20.88% 줄였으며 DeepSeek-V4-Pro-Preview fewshot은 GPT-5.5 base와 유사한 정확도를 대폭 낮은 비용으로 달성한 사례가 보고되었습니다.

기술 상세

평가는 240과제(24작업군, 각 작업군은 공통 환경과 5+5 훈련/검증 과제)를 사용하며 각 검증 과제는 3회 실행의 평균 정확도로 보고됩니다. 채점은 LLM 판정이 아닌 LLM이 생성한 코드형 테스트로 룹릭 항목을 변환해 각 항목을 통과/실패로 판단하는 결정론적 방식을 채택해 재현성과 원인 추적을 확보합니다. 진화 실험은 네 가지 감독 유형(base, fewshot, reflect-3, self)과 스킬 기반 진화 방식을 고정해 진행했으며 에이전트는 Harness+Model 조합으로 정의되어 Codex·Claude Code 하네스와 GPT-5.5·Opus-4.8·GLM-5.2·DS-V4-Pro-Preview 같은 모델을 조합했습니다. 스킬 생성기는 Naive·Codex·Claude Code·OpenCode·DeepAgents 등 다섯 가지를 비교했고, 컨테이너 격리와 시도별 산출물 저장으로 훈련·검증 간의 정보 누수를 차단했습니다.

한계점

실험은 스킬 기반의 비모수적 진화 방식에 초점을 맞추어 진행되어 파라미터 수준의 지속적 학습(예: SFT나 온라인 파인튜닝)에 대한 직접적 결론을 내리기 어렵습니다. fewshot 감독은 소스 도메인에 과도하게 특화되어 타도메인 전이에 해를 끼치는 경향이 관찰되며, 이는 SFT와 유사한 과적합 문제를 시사합니다. 자동 생성 파이프라인은 빠른 갱신으로 오염 대응이 가능하지만 모델이 생성한 작업의 질 저하 위험이 있어 캘리브레이션·리뷰 절차에 의존하는 한계가 남습니다.

실무 활용

GDPevo는 기업 내부 규칙을 학습·재사용해야 하는 실무형 자동화 시스템의 자기진화 능력을 평가하기 위한 벤치마크이자 자동 생성 파이프라인으로 설계되어, 연구자와 엔지니어가 모델·하네스·진화 방법 조합의 전이다파 비교를 수행하는 데 적합합니다.

에이전트 진화 알고리즘(스킬 추출·기억·프롬프트 편집)의 비교 평가와 비용-성능 트레이드오프 분석.
모델·하네스 조합의 실무 적용 가능성 점검을 위한 업무 도메인별 전이성 테스트.
벤치마크 노출 시점을 기준으로 빠르게 교체 가능한 테스트셋을 이용한 데이터 오염 대응 워크플로 검증.

코드 공개 여부: 공개

코드 저장소 보기

키워드

self-evolutionrule hybridizationGDPevofewshotreflectskill-based evolution결정론적 채점

용어 해설

규칙 혼성화(Rule Hybridization): — 기업 워크플로를 최소 단위의 결정 규칙으로 분해한 뒤 훈련 과제에는 규칙의 일부만 배치하고 검증 과제에서 규칙을 재조합해 학습의 전이가 실제로 발생했는지를 판별하는 기법.
스킬 기반 자기진화(Skill-based evolution): — 훈련 과정에서 추출한 절차·규칙·출력 관례를 SKILL.md 같은 텍스트형 아티팩트로 기록하고 이후 과제에서 해당 스킬을 불러와 재사용하여 성능 변화를 만드는 비모수적 자기진화 방식.
결정론적 규칙 채점기(Deterministic rule-based grader): — 사례별 룹릭 항목을 코드형 테스트로 자동 변환해 각 항목을 통과/실패로 채점함으로써 점수 재현성과 실패 원인 추적을 보장하는 평가 장치.