GPT 5.4 출시 48시간 후 벤치마크 분석: 개선점과 성능 저하 지점

실용적 조언

모델의 높은 정확도 수치에 의존하기보다 89%에 달하는 '자신감 있는 오답' 가능성을 염두에 두고 결과물을 반드시 검증해야 한다.
특정 엔지니어링 워크플로에서는 GPT 5.4로의 즉각적인 전환보다 기존 5.3 Codex 모델과의 성능 비교 테스트를 선행해야 한다.

섹션별 상세

GDPVal 벤치마크 결과 44개 화이트칼라 직종의 단일 디지털 과업에서 인간의 첫 시도를 70.8% 확률로 앞섰다. 다만 이는 맥락과 책임이 결여된 독립적 과업에 국한된 수치이며 실제 직무 전체를 대체하는 수준은 아니다. 83%의 수치는 무승부를 포함한 결과로 해석에 주의가 필요하다.

GPT 5.4 Pro 모델이 일반 모델보다 GDPVal 점수가 낮게 측정되는 기현상이 발견됐다. 'Pro' 명칭이 모든 벤치마크에서의 우위를 보장하지 않음을 보여주는 사례이며 커뮤니티에서 거의 논의되지 않은 부분이다. 상위 모델이 특정 평가 지표에서 하락할 수 있다는 점은 모델 선택 시 중요한 고려 사항이다.

할루시네이션의 양상이 변화하여 오류 발생 시 89%의 확률로 매우 자신감 있는 어조를 유지한다. 단순 정확도 수치보다 이러한 '확신에 찬 오답'이 실무 적용 시 더 큰 위험 요소로 작용한다. 사용자가 모델의 답변을 맹신하게 만드는 경향이 있어 주의가 요구된다.

컴퓨터 사용 데모에서 모델이 출력을 생성하고 오류를 스스로 수정하는 재시도 루프가 안정적으로 수렴했다. 이전 버전과 달리 루프가 무한히 반복되거나 발산하지 않고 정답을 향해 좁혀지는 실질적인 변화가 확인됐다. 이는 에이전트 기술의 중요한 진보로 평가된다.

OpenAI 내부의 20개 엔지니어링 병목 구간을 테스트하는 Proof Q&A 벤치마크에서 GPT 5.4 Thinking 모델이 5.3 Codex 및 5.2 변체들보다 낮은 점수를 기록했다. 특정 전문 영역에서는 신규 모델이 반드시 구형 모델보다 우수하지 않다는 증거이다. 이 결과로 인해 실제 프로덕션 워크플로에 모델을 즉시 도입하기를 주저하는 팀들이 생겨나고 있다.

용어 해설

GDPVal: — 사무직 업무 수행 능력을 측정하는 벤치마크로, 44개 화이트칼라 직종의 디지털 과업 성공률을 평가한다. 실제 직무의 전체 맥락보다는 독립적인 과업 수행 능력을 수치화하는 데 중점을 둔다.
환각 현상(Hallucination): — AI가 허위 정보를 사실인 것처럼 생성하는 현상이다. GPT 5.4에서는 오류의 89%가 매우 자신감 있는 어조로 출력되어 사용자가 오답을 식별하기 어렵게 만든다.
재시도 루프(Retry Loop): — 모델이 실행 결과를 스스로 모니터링하고 오류를 발견하여 수정하는 반복 과정이다. 이 루프가 발산하지 않고 정답으로 수렴하는 능력은 자율 에이전트 성능의 핵심 지표이다.
코덱스(Codex): — OpenAI가 개발한 코딩 및 논리 추론 특화 모델 계열이다. 특정 엔지니어링 벤치마크에서 최신 모델인 GPT 5.4보다 우수한 성적을 거두기도 하여 전문 영역에서의 가치를 인정받는다.

언급된 도구

GPT 5.4 Thinking중립

추론 및 문제 해결 특화 모델

GPT 5.3 Codex추천

코딩 및 엔지니어링 특화 모델

언급된 리소스

문서GPT 5.4 Review: GDPVal Benchmark & Computer Use