대형 JSON 스키마 추출 실패 경험과 스키마 평탄화·호출 분할로 해결한 실무 파이프라인

작성자는 자신이 구현한 파이프라인을 공개하고 오픈소스 링크를 댓글에 올렸으며, 대규모 데이터 추출을 운영하는 이들에게 해당 방식이 어디에서 실패하는지 경험 공유를 요청했다. 포스트는 실무적 실패 사례와 구체적 수정 방안을 동시에 제시해 실무자들의 관심을 끌었고, 테스트 결과와 수치가 함께 제시되어 재현 가능성에 대한 질문의 초석을 마련했다. 후속 댓글이나 토론에서 추가 사례와 한계 보고가 이어질 가능성이 높으며 작성자는 재현 환경과 실패 지점에 대한 피드백을 받고자 했다.

• 중첩된 JSON 대신 'path = value' 형태의 단일 라인 출력을 요청하면 출력 컷오프 시 손실을 하나의 필드로 국한할 수 있으므로 평탄화를 우선 적용하라.
• 전체 스키마를 모델의 실제 토큰 리미트에 맞춰 최소 호출 수로 분할하고 각 호출에 포함될 필드 집합을 계산해 작업을 패킹하면 실패 시 재시도 범위를 줄일 수 있다.
• 로컬 코드로 평탄화·팩킹·재조합·잘린 리스트 수리·값의 원문 근거 대조·환각률 보고를 구현해 모델 호출 횟수를 최소화하면서도 오류 추적과 재현을 가능하게 하라.

Schema Flattening

— 중첩된 JSON 스키마를 'path = value' 형태의 단일 라인 쌍들로 변환하여 출력 컷오프가 발생해도 하나의 값만 손실되게 만드는 기법으로, 모델 출력이 부분적으로 잘릴 때 전체 문서 반환 실패를 방지하는 실무적 보완 방법이다.

Call Splitting

— 대형 폼이나 수백 개 필드를 요구하는 작업을 모델 호출 크기에 맞춰 여러 개의 작은 호출로 분할하여 실행하는 방식으로, 각 호출의 토큰 제한을 계산해 최소 호출 수로 작업을 쪼갬으로써 출력 잘림과 오류 재시도 비용을 줄이는 운영 전략이다.

Grounding and Hallucination Rate

— 모델이 추출한 각 값의 근거를 원문 위치와 대조하여 검증하는 절차와, 근거가 없는 잘못된 값의 비율(환각률)을 측정해 전체 파이프라인 신뢰도를 수치로 보고하는 방법으로서 재현성과 오류 추적을 용이하게 만든다.