Fable 5 전후 비교 BridgeBench 재실행 결과

커뮤니티 반응은 우려와 확인 요청이 섞여 있었다. 일부 사용자들은 X에서 지속적인 폴백과 원샷 성능 저하를 경험했다고 보고했고 다른 사용자들은 독립적 재검증을 기다리는 분위기였다. 전반적으로 많은 참여자가 분류기 작동 여부와 실제 가중치 변경 여부를 분리해 확인해야 한다고 강조했다.

• Fable 5에 의존해 코딩 작업을 수행하는 경우 응답 헤더나 메타데이터에서 사용된 모델명을 로그하여 Opus 4.8로 폴백되는지를 확인해야 한다.
• 벤치마크 재현을 위해 동일한 입력과 환경에서 BridgeBench를 재실행하여 점수 차이가 재현되는지 검증하는 것이 바람직하다.

BridgeBench

— 코드 관련 능력을 평가하는 벤치마크로 디버깅, 리팩터링, 환각 탐지 항목을 포함하여 모델 입력으로 코드 문제를 주고 처리 결과를 점수화하는 방식으로 작동한다. 입력 문제와 모델 응답을 비교해 정량적 점수를 산출하므로 모델 변경 전후 성능 비교에 적합하다.

Safety Classifier

— 요청 텍스트에서 알려진 우회·재현 기법 패턴을 탐지해 플래그를 세우는 분류기이다. 플래그가 세워지면 요청 라우팅이나 거부 같은 후속 처리가 발생하므로 실제 모델 응답 능력과 관찰된 성능 지표가 달라질 수 있다.

Fallback Routing

— 분류기나 규칙이 특정 요청을 플래그하면 원래 모델 대신 다른 버전으로 요청을 자동 전환하는 처리 방식이다. 사용자는 전환 사실을 인지하지 못한 채 낮은 성능 모델의 응답을 받게 될 수 있어 성능 회귀로 오해될 수 있다.