동일한 JSON Schema를 다섯 LLM 공급자에 보냈을 때

동일한 프롬프트와 단일 JSON Schema를 여러 LLM 공급자에 보내면 출력의 형식적 유효성은 유지되더라도 스키마 계약(필드·타입·배열 구조) 준수는 공급자마다 달랐다. 실험은 다섯 공급자와 동일한 입력을 사용해 150번의 로컬 워크플로우를 돌려 각 응답을 스키마에 대조한 결과를 보여준다. 결과는 공급자별로 스키마 패스, 누락 필드, 잘못된 JSON 등으로 분류되었고(이미지 기준: Schema pass 99, Missing fields 35, Invalid JSON 16, Provider/API 1), 이로 인해 유효한 JSON이더라도 기대하는 계약을 따르지 않으면 다운스트림 파서가 실패한다고 확인됐다. 즉, 모델 간 작은 출력 차이도 프로덕션 파이프라인에서 치명적이다. 따라서 실제 서비스에서는 단순한 포맷 검사뿐 아니라 스키마 검증 단계와 공급자별 예외 처리 또는 파서 견고화가 필요하다. 작성자는 전체 방법론·스키마·샘플 출력·결과를 링크에 문서화해 경험 공유를 요청하고 있다.