GPT-5.4, 역대 모델 중 가장 높은 거절 빈도 기록

커뮤니티 반응

최신 모델일수록 답변을 더 많이 거절한다는 데이터에 대해 사용자들은 모델의 유용성 저하를 우려하며 비판적인 반응을 보였다.

주요 논점

01중립소수

모델의 거절률 상승은 안전 가이드라인 강화에 따른 필연적인 결과이며 성능 저하로만 볼 수는 없다.

02반대다수

답변 완료율이 30% 미만으로 떨어진 것은 모델의 실질적인 활용 가치를 심각하게 훼손하는 행위이다.

합의점 vs 논쟁점

합의점

GPT-5.4의 거절 빈도가 이전 모델들에 비해 비정상적으로 높다는 점에 동의한다.

논쟁점

이러한 거절률 상승이 기술적 한계 때문인지, 아니면 의도적인 과잉 검열 때문인지에 대해 의견이 갈린다.

섹션별 상세

SpeechMap의 'compliance_us_hard' 지표를 기준으로 GPT-5 모델들의 성능을 비교한 결과, GPT-5.4 모델의 답변 완료율이 29.6%로 급락했다. 이는 초기 GPT-5 Chat 모델이 기록했던 78.9%와 비교했을 때 절반 이하로 떨어진 수치이며, 모델이 업데이트될수록 사용자의 요청을 거절하는 빈도가 높아졌음을 시사한다.

GPT-5 제품군 모델들의 출시 시기별 답변 완료율 변화를 나타내는 선 그래프이다. — Chart2025년 8월부터 2026년 3월까지의 데이터를 보여주며, GPT-5 Chat 모델(녹색)과 Base 모델(보라색)의 추이를 비교한다. 특히 마지막 지점인 GPT-5.4에서 그래프가 29.6%로 급격히 꺾이는 모습을 통해 거절률 상승을 시각적으로 증명한다.

모델 버전별로 Chat 모델과 Base 모델 간의 완료율 역전 현상이 뚜렷하게 관찰됐다. GPT-5.1의 경우 Chat 모델은 42.0%의 완료율을 보인 반면, Base 모델은 64.2%를 기록하여 대화형으로 튜닝된 모델일수록 검열과 가드레일이 더 강력하게 적용되고 있다는 점이 확인됐다.

시계열 분석 결과 GPT-5.2에서 잠시 69.7%로 상승했던 완료율이 GPT-5.3(62.8%)을 거쳐 GPT-5.4에서 최저치를 경신했다. 이러한 변동성은 OpenAI가 모델의 안전성과 유용성 사이에서 균형을 잡는 과정에서 발생하는 정책적 변화를 반영하는 것으로 해석된다.

벤치마크 방법론은 TechCrunch 등 주요 매체에서도 다뤄졌으며, AI 챗봇이 논란이 되는 주제에 대해 얼마나 자유롭게 대화할 수 있는지를 측정하는 객관적인 척도로 제시됐다. 깃허브(GitHub)를 통해 공개된 코드와 데이터를 바탕으로 누구나 해당 결과를 재현하고 검증할 수 있는 구조를 갖췄다.

용어 해설

스피치맵(SpeechMap): — AI 모델이 민감하거나 논란이 되는 질문에 대해 거절하지 않고 얼마나 성실하게 답변을 완료하는지 측정하는 벤치마크 플랫폼이다. 모델의 개방성과 검열 수준을 수치화하여 비교하는 지표로 활용된다.
거절률(Refusal Rate): — AI 모델이 안전 가이드라인이나 내부 정책을 이유로 사용자의 요청에 답변하기를 거부하는 비율이다. 거절률이 높을수록 모델이 보수적으로 작동하며 특정 주제에 대한 대화가 제한됨을 의미한다.
기본 모델(Base Model): — 특정 작업에 맞춰 미세 조정(Fine-tuning)되기 전, 대규모 데이터셋으로 사전 학습된 상태의 모델이다. 대화형 모델보다 필터링이 적어 더 원시적인 답변을 내놓는 경향이 있다.
컴플라이언스 US 하드(Compliance US Hard): — SpeechMap 벤치마크에서 사용하는 고난도 평가 데이터셋으로, 미국 기준에서 법적·윤리적으로 민감한 질문들에 대해 모델이 얼마나 규정을 준수하면서도 답변을 완수하는지 테스트한다.

언급된 도구

SpeechMap중립

AI 모델의 답변 성실도 및 거절률 측정 벤치마크 리더보드

언급된 리소스

문서SpeechMap Model Leaderboard

GitHubLLM Compliance Benchmark Repository