자율 모델 엔지니어

게시물은 라벨 희소성 문제와 이를 목표함수 수준에서 보정하는 접근을 실험 결과와 함께 제시해 실무 지향적 관심을 불러일으킬 것이다. 성능 수치와 슬라이스별 카운트를 함께 공개한 점은 재현 가능성과 위험 노출 지점을 판단하는 데 유용한 근거를 제공했다. 동시에 단일 시드 실행임을 명시하고 다중 시드에 의한 신뢰구간 확보가 진행 중이라고 밝힌 점은 결과 해석에 신중함을 요구하는 반응을 촉발할 가능성이 크다.

• 라벨이 희박한 환경에서는 전체 집계 지표만 보는 대신 길이나 카테고리별로 슬라이스를 분리해 성능 변화를 측정하면 국소적 회귀를 조기에 발견할 수 있다.
• 거짓 긍정 예산을 고정한 집계 임계값 대신 슬라이스별 운영 임계값을 도입하면 짧은 메시지에서의 재현율을 회복할 수 있으나 전체 집계 성능은 하락할 수 있다는 트레이드오프를 고려해야 한다.
• 보정된 목표함수 또는 캘리브레이션을 도입할 때는 다중 시드 실험과 신뢰구간 산출을 우선 수행해 결과의 견고성을 평가해야 한다.

Sparse labels

— 검증된 정답 레이블이 극히 적어 모델 최적화에 직접 사용할 만한 신호가 부족한 상황을 가리킨다. 이 문맥에서는 수백 개 규모의 검증 레이블 중 실제 유해 사례가 한 자릿수에 불과해 표본 잡음이 최적화 방향을 왜곡했다. 희박한 레이블 문제는 모델이 소음에 과적합하거나 성능 회귀를 일으키는 주된 원인으로 작용했다.

Prompt optimization

— 모델 입력인 프롬프트를 자동으로 수정해 출력 품질을 높이는 기법을 말한다. 본문에서는 GEPA가 프롬프트 수준의 최적화를 수행하는 도구로 사용되었고 Gnosys는 이를 루프의 한 단계로 포함해 더 넓은 목표함수 관점에서 작업을 수행했다. 프롬프트 최적화는 라벨 희소성에서 직접 학습하기 어려운 상황을 보완하는 수단으로 쓰였다.

Calibration

— 소수의 검증 레이블과 대규모 미라벨 풀을 결합해 모델의 예측 점수나 목표함수를 통계적으로 보정하는 절차를 일컫는다. 본 시스템은 슬라이스별 보정과 신호 신뢰성 확인을 통해 직접 라벨에 의존하지 않는 목표함수를 구성했다. 보정은 최적화가 표본 잡음에 끌려가지 않도록 안정성을 확보하는 핵심 수단이었다.

Slice evaluation

— 데이터 집합을 길이, 콘텐츠 카테고리 등 관심 영역별로 분할해 각 분할에서의 성능을 독립적으로 측정하는 방식이다. 본 사례에서는 메시지 길이와 유해 유형별로 보유한 전체 테스트 라벨을 이용해 Gnosys와 GEPA 성능 차이를 세부적으로 드러냈다. 슬라이스별 평가는 전체 지표로 숨겨질 수 있는 국소적 회귀를 드러내는 데 목적이 있다.