LLM 구조화된 출력의 한계와 복구 전략: outputguard 개발기

LLM을 프로덕션 환경에서 사용할 때 발생하는 가장 큰 문제 중 하나는 모델이 구조화된 데이터(JSON 등)를 명세에 맞지 않게 생성한다는 점입니다. 저자는 288번의 실제 모델 호출을 통해 마크다운 펜스 삽입, 잘못된 불리언 값 사용, 따옴표 이스케이프 누락 등 공통적인 실패 패턴을 확인했습니다. 이를 해결하기 위해 인코딩, 추출, 구조 수정 순서로 15가지 복구 전략을 적용하는 2단계 시스템을 구축했습니다. 결과적으로 JSON Schema 검증, 자동 복구, 재시도 프롬프트 생성을 지원하는 오픈소스 라이브러리 outputguard를 공개했습니다.