문법 제약 디코딩의 반복 함정

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

문법 제약 디코딩은 각 토큰이 스키마에 맞도록 후보를 제한하여 출력의 형식적 유효성을 확보하지만 생성의 종료 여부는 보장하지 못한다. 작성자는 추출 스키마가 거의 동일한 객체의 목록일 때 Qwen3-VL이 동일 항목을 무한 반복하는 사례를 관찰했으며, 반복 패널티를 높이면 루프는 끊었지만 결과가 유효한 빈 목록으로 귀결되는 부작용이 나타났다고 보고했다. 이러한 관찰은 스키마 유효성 검사만으로는 구조화된 추출의 실용적 품질을 보장할 수 없음을 시사하며, 최종 결과를 항목 수 등 실질적 지표로 점수화하는 방식이 더 견고한 평가 기준이 된다고 제안되었다. 최종적으로는 반복 억제와 내용 보존 사이의 균형을 모니터링하며 파이프라인 설계를 조정해야 한다는 실무적 교훈이 도출된다.

실용적 조언

출력의 문법 유효성만 검사하는 파이프라인은 반복 루프 문제에 취약하므로, 검증 단계에서 생성된 항목 수나 내용의 실체성을 함께 평가하는 방식이 필요하다. 생성 후 검증 단계에서 항목 개수를 집계하거나 항목별 신뢰도를 합산해 점수화하면 빈 목록이나 단일 반복 항목을 우선하는 출력의 우선순위를 낮출 수 있다. 또한 반복 패널티를 적용할 때는 루프 억제 효과와 항목 손실의 트레이드오프를 모니터링하며 강도를 조정해야 한다.

섹션별 상세

문법 제약 디코딩은 각 토큰 선택이 지정한 스키마나 문법 규칙을 만족하도록 후보를 제한하는 방식으로 동작하며, 이로 인해 출력 형식의 문법적 유효성은 확보된다. 토큰 차원에서 가능한 다음 토큰 집합을 필터링하는 과정이 입력→제약적 토큰 선택→출력의 흐름으로 이어진다. 그러나 이 메커니즘은 생성의 종료 조건을 직접 통제하지 않으므로 유효성을 만족하는 한 모델이 반복을 지속할 위험이 남아 있었다. 따라서 형식 유효성 확보와 생성 중단 보장은 별개의 문제로 남아 있다는 점이 핵심이다.

링크된 사례는 추출 스키마가 요소가 거의 동일한 객체들의 목록으로 정의되어 있을 때 모델이 한 항목을 반복해서 생성하며 루프에 빠진다고 설명한다. 목록의 각 항목을 스키마 수준에서 허용하면 디코더는 다음 항목으로 넘어가기보다 동일 구조를 다시 채택하는 쪽의 확률을 높게 평가할 수 있으며, 이 때문에 입력이 동일한 패턴으로 계속 확장되는 출력이 연쇄적으로 발생한다. 작성자는 Qwen3-VL이 이 상황에서 한 항목을 영원히 반복한 실제 동작을 관찰했다고 밝히며, 해당 동작이 스키마의 허용 범위와 모델 확률 분포 상호작용에서 기인함을 근거로 제시했다. 이 사례는 구조적 추출 파이프라인에서 스키마 유효성만으로는 충분하지 않음을 실무적으로 시사한다.

반복을 억제하기 위해 반복 패널티를 높이면 모델이 동일한 토큰을 다시 선택할 확률을 낮추도록 로그잇에 페널티를 적용하는 방식이 사용되며, 이 방법은 일부 루프를 끊는 데 유효했다. 페널티 강도를 점차 높이면 동일 항목의 지속적 출력이 줄어드는 반면, 과도한 페널티는 목록의 항목을 하나도 생성하지 않는 방향으로 출력을 밀어넣을 수 있으며 실제로 '유효한 JSON이지만 항목 수가 0인' 결과가 보고되었다. 이 관찰은 반복 억제가 단순히 루프 제거 이상의 부작용을 유발할 수 있음을 보여주며, 페널티 튜닝이 유효성 유지와 내용 생성 사이의 트레이드오프를 만드는지를 드러냈다.

원문에서는 최종 유효성 여부만 판단하기보다 생성된 항목 수를 점수화하여 랭킹 기준으로 삼는 접근을 권했다. 구체적으로는 생성물의 JSON이 스키마 검사를 통과했는지 여부만 체크하는 대신, 각 출력에서 실제로 생성된 항목 개수를 계량화하여 높은 항목 수를 우선하는 방식이 제안되었다. 이 방법은 스키마가 허용하는 반복 구조에서 모델이 빈 목록이나 단일 반복 항목에 머무르는 문제를 완화할 수 있으며, 구조화된 정보 추출 목적의 파이프라인에서 결과의 실용성을 높일 수 있다.

용어 해설

문법 제약 디코딩(Grammar-constrained decoding): — 토큰 생성 단계마다 허용 가능한 다음 토큰을 문법이나 스키마로 제한하여 출력 형식의 유효성을 보장하는 기법이다. 이 방법은 각 선택이 문법 규칙을 만족하도록 강제하므로 최종 출력 포맷의 문법적 유효성을 높인다. 다만 토큰별 제약만 적용하므로 생성이 언제 종료되는지는 별도의 제어가 필요하다.
반복 패널티(Repeat Penalty): — 생성 모델의 동일 토큰이나 n-gram 반복을 억제하기 위해 로그잇이나 확률에 가감하는 기법으로, 반복 선택에 페널티를 적용해 루프를 줄이려는 목적이다. 페널티 강도를 높이면 반복은 억제되지만 예상치 못한 토큰 선택 변화나 출력의 의미 손실을 초래할 수 있다. 본문 맥락에서는 페널티를 과도하게 올리면 유효한 항목 수가 0이 되는 부작용이 보고되었다.
JSON 스키마(JSON Schema): — 출력으로 생성할 JSON 구조를 규정하는 스키마로서 필드 유형, 배열 구조, 필수 항목 등을 명시한다. 디코더에 스키마 제약을 적용하면 형식 유효성은 확보되지만 스키마가 허용하는 반복 구조 때문에 무한 반복 가능성이 남을 수 있다. 본문에서는 '목록으로 된 객체' 스키마가 무한 루프를 유발한 사례가 제시되었다.
생성 루프(Generation Loop): — 모델이 동일한 토큰 시퀀스나 구조를 반복해서 출력하며 종료 토큰으로 수렴하지 않는 현상으로, 문법 제약이 반복을 허용하거나 확률적 선택이 반복을 선호할 때 발생한다. 루프는 출력의 유효성 검사만으로는 탐지되지 않을 수 있으며, 결과적으로 무한 생성이나 품질 저하를 초래한다. 문제 해결을 위해서는 반복 억제와 출력 수준의 수량 검증이 병행되어야 한다.

언급된 리소스

문서The repetition trap in grammar-constrained decoding