대형 재무 양식에서 0%로 실패하던 추출 작업을 항목별 분할로 85% 달성한 사례

커뮤니티 반응은 혼합되어 있으며 성과 수치에 놀라움을 표하는 의견이 다수 존재했다. 일부는 작성자가 해당 라이브러리 개발자라는 점을 지적하며 편향 가능성을 제기했고, 실험 재현과 코드·데이터 공개를 요청하는 목소리도 많았다. 전반적으로는 프롬프트 분할이 구조화된 추출 문제에서 실용적 이득을 줄 수 있다는 공감이 넓게 형성되었다.

• 대형 구조화 양식을 다룰 때는 전체를 한 번에 요청하기보다 필드 단위 또는 페이지 단위로 입력을 나누고 각 청크를 개별 쿼리로 처리해 출력 컷오프를 회피해야 한다.
• 청크별로 모델에 요청할 때는 출력 포맷을 단순하고 예측 가능하게 고정하고, 각 청크의 결과를 후처리 단계에서 병합하며 유효성 검사를 통해 누락을 검출하는 파이프라인을 구현해야 한다.
• 작은 모델을 선택할 때도 청킹과 같은 전처리·후처리 전략을 결합하면 더 큰 모델 대비 비용 효율적인 정확도 확보가 가능하므로 모델 규모 결정 시 프롬프트 설계 비용을 함께 고려해야 한다.

Context Window

— 컨텍스트 윈도우는 모델이 한 번에 처리하거나 생성할 수 있는 토큰의 총량을 말한다. 입력 토큰과 출력 토큰이 합쳐져 윈도우 한계를 초과하면 출력이 중간에 잘리거나 입력 일부가 무시될 수 있다. 본 게시물 맥락에서는 대형 양식을 한 번에 요청했을 때 출력 컷오프로 인해 정답이 손실되는 주된 원인으로 작용했다.

Prompt Chunking

— 프롬프트 청킹은 대규모 요청을 작은 단위로 분할해 순차적으로 모델에 보내는 기법이다. 입력을 필드 단위나 페이지 단위로 나누고 각 청크에 대해 별도의 질의를 수행하여 출력 길이와 처리 복잡도를 제어한다. 이 방법은 출력이 긴 구조화된 양식을 한 번에 생성해야 하는 상황에서 출력 컷오프와 오류율을 감소시키는 데 핵심 역할을 한다.

Output Cutoff

— 출력 컷오프는 모델이 반환하는 텍스트가 토큰 한계나 타임아웃 등으로 중간에 끊기는 현상이다. 구조화된 양식 전체를 한 번에 출력하도록 요구하면 일부 필드가 생성되기 전에 컷오프가 발생해 전체 결과가 무효화될 수 있다. 본 사례에서는 출력 컷오프로 인해 대형 모델들이 369개 필드 과제에서 모두 0%가 된 주된 메커니즘으로 보고되었다.