구조화된 출력의 이식성 문제와 프로바이더별 제약 조건 차이 분석

커뮤니티 반응

작성자의 분석에 공감하며, 특히 OpenAI 호환 API라고 주장하는 엔드포인트들이 실제로는 스키마 동작 방식에서 큰 차이를 보인다는 점에 많은 사용자가 동의하고 있습니다.

주요 논점

01찬성다수

프로바이더별로 스키마 해석 엔진이 다르므로 개별 최적화와 클라이언트 검증이 반드시 병행되어야 한다.

합의점 vs 논쟁점

합의점

단일 스키마로 모든 LLM 프로바이더에서 동일한 구조화된 출력을 보장받기는 현재 기술적으로 어렵다.
OpenAI의 Strict Mode는 안정성을 위해 필수적이지만 스키마 복잡도에 제한을 준다.

논쟁점

하나의 표준 스키마에서 변환기를 쓸 것인지, 아니면 프로바이더별로 완전히 분리된 스키마를 관리할 것인지에 대한 관리 비용 효율성 논쟁이 있다.

실용적 조언

Pydantic 모델 사용 시 .model_json_schema() 결과를 그대로 쓰지 말고 프로바이더가 지원하지 않는 키워드(allOf 등)를 제거하는 전처리를 수행하라.
모델이 스키마를 무시하도록 유도하는 프롬프트를 작성하여 제약 조건이 실제로 작동하는지 테스트하라.

섹션별 상세

OpenAI의 Structured Outputs에서 anyOf 지원은 문서와 달리 실제 구현에서 여러 제약이 존재한다. 루트 스키마에서는 anyOf를 사용할 수 없으며, 중첩된 스키마 내에서도 동일한 첫 번째 키를 공유하는 객체 변형이 포함될 경우 400 에러가 발생한다. 이는 유효한 JSON 스키마임에도 불구하고 특정 프로바이더의 내부 최적화 방식 때문에 거부될 수 있음을 시사한다.

Pydantic의 Field(min_length=5)와 같은 세부 제약 조건은 프로바이더마다 처리 방식이 극명하게 갈린다. 어떤 프로바이더는 이를 엄격히 준수하여 출력을 생성하지만, 다른 곳은 이를 무시하거나 SDK 단에서 클라이언트 사이드 검증으로만 처리한다. 따라서 스키마가 수락되었다고 해서 모든 제약 조건이 모델 생성 단계에서 강제된다고 믿어서는 안 된다.

python

class User(BaseModel):
    name: str = Field(min_length=5, max_length=8)
    age: int

Pydantic을 사용하여 필드 길이 제약 조건이 포함된 스키마를 정의하는 예시

상속을 통한 스키마 정의는 내부적으로 allOf 구조를 생성하며, 이는 이식성 측면에서 가장 위험한 요소 중 하나이다. OpenAI의 엄격 모드는 이를 거부하고, Gemini나 xAI는 테스트 결과 빈 객체({})를 반환하는 등 비정상적인 동작을 보였다. 복잡한 상속 구조보다는 프로바이더에게 전달할 최종 스키마를 평면화(Flat)하여 구성하는 것이 안정적이다.

동일한 스키마라도 프로바이더에 따라 수락, 거부, 자동 단순화, 또는 수락 후 무시라는 네 가지 방식으로 반응한다. 이를 해결하기 위해 하나의 표준 모델을 유지하되 프로바이더별로 최적화된 스키마를 생성하는 어댑터 구조가 필요하다. 또한 프롬프트로 제약 위반을 유도하는 적대적 테스트를 통해 실제 강제력을 검증하는 과정이 필수적이다.

용어 해설

구조화된 출력(Structured Outputs): — LLM이 응답을 JSON과 같은 특정 스키마 형식에 맞춰 생성하도록 강제하는 기능이다. 모델이 사전에 정의된 데이터 구조를 엄격히 따르게 함으로써 후속 시스템과의 연동 안정성을 높이는 역할을 한다.
JSON 스키마(JSON Schema): — JSON 데이터의 구조를 정의하고 검증하기 위한 표준 규격이다. 데이터의 필드 타입, 필수 여부, 제약 조건 등을 명시하여 데이터의 유효성을 보장하는 도구로 사용된다.
엄격 모드(Strict Mode): — OpenAI 등에서 제공하는 옵션으로, 모델이 제공된 스키마를 100% 준수하도록 강제하는 기능이다. 이 모드를 활성화하면 스키마에 정의되지 않은 필드 생성을 방지하고 정확한 데이터 구조를 보장한다.
적대적 테스트(Adversarial Testing): — 시스템의 취약점을 찾기 위해 의도적으로 제약 조건을 위반하도록 유도하는 테스트 방식이다. LLM이 스키마 제약을 무시하고 잘못된 출력을 내놓는지 확인하여 시스템의 견고함을 평가한다.

언급된 도구

Pydantic추천

Python 데이터 검증 및 스키마 정의 라이브러리

Zod중립

TypeScript 우선 스키마 선언 및 검증 라이브러리