Chimera v0.4.0이 배포되었으며 M14 사이클의 벤치마크 인프라를 제공한다.

작성자는 방법론에 대한 피드백을 요청했고 게시물은 측정 인프라를 먼저 공개하는 태도를 분명히 했다. 공개된 내용은 통계적 판정 기준과 재현 가능한 어댑터 연결 방식, 자동 개선 루프의 안전장치 등 실무적 관심사에 초점이 있어 기술적 검토를 유도한다. 따라서 커뮤니티 반응은 방법론적 타당성과 재현성, 그리고 자동 개선 루프의 편향 제어 방식에 대한 기술적 논의 중심으로 흘러갈 것으로 예상된다.

• 공식 벤치마크를 실행하려면 Python 3.12와 Docker 환경을 준비하고 어댑터가 요구하는 입력 포맷을 맞춰야 동일한 절차로 결과를 재현할 수 있다.
• 통계적 유의성 판단을 위해 합격률을 Wilson 점수 구간으로 계산하고 두 모델 간 차이는 Newcombe 95% 신뢰구간이 0을 배제하는지를 기준으로 삼아야 한다.
• 자동 개선 루프를 적용할 때는 A/B 엔진 기준을 엄격히 유지해 소음에 따른 승격을 방지하고, 외부 검증 가능한 어려운 샘플에 대해서만 독립 검증을 병행해야 한다.

A/B Testing

— 동일한 작업에 대해 두 가지 처리 경로(예: 모델 버전 A와 B)를 비교하여 통계적으로 더 우수한 쪽을 판별하는 방법으로, 입력 샘플을 분할하고 처리 결과를 집계한 뒤 통계적 검정을 통해 차이를 확인하는 절차가 핵심이다.

Wilson Score Interval

— 이항 관측치의 비율 추정에서 작은 표본에서도 보다 안정적인 신뢰구간을 제공하는 통계 기법으로, 성공률 추정치와 표준오차를 조정해 범위를 계산하여 A/B 비교에서 점수 불확실성을 반영하는 데 사용된다.

Newcombe Method

— 두 이항 비율의 차이에 대한 신뢰구간을 계산하는 방법으로, 독립 표본에서 차이의 95% 신뢰구간을 산출해 그 구간이 0을 포함하는지로 통계적 유의성을 판단하는 데 적합하다.

Adapter

— 다양한 벤치마크나 실행 환경의 입출력, 명령어 생성 방식을 통일해 상위 엔진에 연결하는 설계로, 입력 포맷을 변환하고 실행 커맨드를 조립해 서로 다른 테스트 스위트가 동일한 A/B 엔진으로 평가되게 만든다.