구조화된 출력의 이식성 문제와 프로바이더별 제약 조건 차이 분석

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

LLM 프로바이더마다 JSON 스키마 해석 방식이 달라 발생하는 구조화된 출력의 이식성 문제와 실무적인 해결 방안을 다룬다.

배경

다양한 LLM 프로바이더(OpenAI, Gemini, Anthropic 등)에서 동일한 Pydantic/Zod 스키마를 사용할 때 발생하는 호환성 문제와 제약 조건 위반 사례를 공유하기 위해 작성되었다.

의미 / 영향

구조화된 출력 기능이 발전하고 있음에도 불구하고 프로바이더 간 표준화가 부족하여 실무에서는 여전히 강한 결합도가 발생하고 있다. 안정적인 프로덕션 운영을 위해서는 스키마를 단순화하고 모델 응답 이후의 2차 검증 및 재시도 로직을 설계에 포함해야 함이 확인됐다.

커뮤니티 반응

작성자의 분석에 공감하며, 특히 OpenAI 호환 API라고 주장하는 엔드포인트들이 실제로는 스키마 동작 방식에서 큰 차이를 보인다는 점에 많은 사용자가 동의하고 있습니다.

주요 논점

01찬성다수

프로바이더별로 스키마 해석 엔진이 다르므로 개별 최적화와 클라이언트 검증이 반드시 병행되어야 한다.

합의점 vs 논쟁점

합의점

단일 스키마로 모든 LLM 프로바이더에서 동일한 구조화된 출력을 보장받기는 현재 기술적으로 어렵다.
OpenAI의 Strict Mode는 안정성을 위해 필수적이지만 스키마 복잡도에 제한을 준다.

논쟁점

하나의 표준 스키마에서 변환기를 쓸 것인지, 아니면 프로바이더별로 완전히 분리된 스키마를 관리할 것인지에 대한 관리 비용 효율성 논쟁이 있다.

실용적 조언

Pydantic 모델 사용 시 .model_json_schema() 결과를 그대로 쓰지 말고 프로바이더가 지원하지 않는 키워드(allOf 등)를 제거하는 전처리를 수행하라.
모델이 스키마를 무시하도록 유도하는 프롬프트를 작성하여 제약 조건이 실제로 작동하는지 테스트하라.

섹션별 상세

OpenAI의 Structured Outputs에서 anyOf 지원은 문서와 달리 실제 구현에서 여러 제약이 존재한다. 루트 스키마에서는 anyOf를 사용할 수 없으며, 중첩된 스키마 내에서도 동일한 첫 번째 키를 공유하는 객체 변형이 포함될 경우 400 에러가 발생한다. 이는 유효한 JSON 스키마임에도 불구하고 특정 프로바이더의 내부 최적화 방식 때문에 거부될 수 있음을 시사한다.

Pydantic의 Field(min_length=5)와 같은 세부 제약 조건은 프로바이더마다 처리 방식이 극명하게 갈린다. 어떤 프로바이더는 이를 엄격히 준수하여 출력을 생성하지만, 다른 곳은 이를 무시하거나 SDK 단에서 클라이언트 사이드 검증으로만 처리한다. 따라서 스키마가 수락되었다고 해서 모든 제약 조건이 모델 생성 단계에서 강제된다고 믿어서는 안 된다.

python

class User(BaseModel):
    name: str = Field(min_length=5, max_length=8)
    age: int

Pydantic을 사용하여 필드 길이 제약 조건이 포함된 스키마를 정의하는 예시

상속을 통한 스키마 정의는 내부적으로 allOf 구조를 생성하며, 이는 이식성 측면에서 가장 위험한 요소 중 하나이다. OpenAI의 엄격 모드는 이를 거부하고, Gemini나 xAI는 테스트 결과 빈 객체({})를 반환하는 등 비정상적인 동작을 보였다. 복잡한 상속 구조보다는 프로바이더에게 전달할 최종 스키마를 평면화(Flat)하여 구성하는 것이 안정적이다.

동일한 스키마라도 프로바이더에 따라 수락, 거부, 자동 단순화, 또는 수락 후 무시라는 네 가지 방식으로 반응한다. 이를 해결하기 위해 하나의 표준 모델을 유지하되 프로바이더별로 최적화된 스키마를 생성하는 어댑터 구조가 필요하다. 또한 프롬프트로 제약 위반을 유도하는 적대적 테스트를 통해 실제 강제력을 검증하는 과정이 필수적이다.

실무 Takeaway

OpenAI 사용 시 strict: true 설정을 필수로 적용해야만 스키마가 실제 생성 과정을 제약할 수 있다.
프로바이더의 스키마 준수 주장을 맹신하지 말고 애플리케이션 계층에서 별도의 유효성 검사 로직을 유지해야 한다.
상속 기반의 복잡한 모델보다는 프로바이더 지향적인 평면화된 스키마 구조를 사용하는 것이 호환성 확보에 유리하다.
정규표현식이나 수치 범위 제약에 의존하기보다 Enum과 명시적인 객체 구조를 활용하는 것이 더 안정적인 라우팅을 보장한다.

언급된 도구

Pydantic추천

Python 데이터 검증 및 스키마 정의 라이브러리

Zod중립

TypeScript 우선 스키마 선언 및 검증 라이브러리