GPT 5.4 출시 48시간 후 벤치마크 분석: 개선점과 성능 저하 지점

벤치마크 수치에 대해서는 인상적이라는 평가가 많으나, 특정 영역에서의 성능 퇴보와 자신감 있는 오답 문제에 대해 우려 섞인 반응이 나타나고 있다.

• 모델의 높은 정확도 수치에 의존하기보다 89%에 달하는 '자신감 있는 오답' 가능성을 염두에 두고 결과물을 반드시 검증해야 한다.
• 특정 엔지니어링 워크플로에서는 GPT 5.4로의 즉각적인 전환보다 기존 5.3 Codex 모델과의 성능 비교 테스트를 선행해야 한다.

• 엔지니어링 병목 구간 테스트인 Proof Q&A에서 신규 모델이 구형 모델보다 낮은 점수를 기록한 것은 프로덕션 워크플로 도입 전 신중한 검토가 필요함을 시사한다.

• GPT 5.4는 사무 업무 벤치마크에서 인간을 앞섰으나 실제 직무 대체에는 한계가 있다.
• 오류의 89%가 자신감 있는 어조로 발생하므로 사용자의 주의 깊은 검증이 필수적이다.
• 자가 수정 루프의 수렴 성능 향상으로 컴퓨터 제어 에이전트로서의 실용성이 강화됐다.
• 특정 엔지니어링 벤치마크에서는 이전 버전보다 성능이 하락하는 퇴보 현상이 관찰됐다.