369개 필드 추출 과제에서 최첨단 모델은 0%를 기록했고 Groq에서 구동한 27B 오픈 모델은 85%를 기록했다

커뮤니티는 결과에 높은 관심을 보였고 방법적 차이가 성능 격차를 만들어낸다는 주장에 실무적 호기심과 함께 재현성에 대한 질문이 제기되었다. 일부 사용자는 동일 벤치와 채점 규칙으로 재현한 사례를 공유하거나 스키마 분할 알고리즘의 구체적 구현과 패킹 전략을 물었다. 동시에 문서 단위 채점과 필드 단위 채점의 비교 가능성에 대해 회의적 견해도 나와서 채점 기준과 재현 조건을 엄밀히 맞출 필요성이 강조되었다.

• 추출 파이프라인에서 출력 실패가 문서 전체를 무효화하는 상황을 피하려면 중첩 JSON 대신 '경로 = 값' 형태로 각 필드를 평탄화하여 반환받는 방식을 적용하는 것이 효과적이다. 이 방식은 모델 출력이 중간에 잘려도 손상 범위를 개별 필드로 국한시키므로 일부 필드만 손실되는 상황에서 전체 문서가 모두 버려지는 문제를 회피한다. 평탄화된 응답은 로컬 코드에서 손쉽게 재조합할 수 있으므로 후처리 비용과 오류 복구 전략을 단순화할 수 있다.
• 스키마를 모델의 실제 입력·출력 토큰 한계에 맞추어 최소 호출 횟수로 분할하는 로직을 구현해야 한다. 구체적으로 각 호출에 포함될 필드 묶음을 토큰 예측량 기준으로 패킹하고, 모델의 최대 출력 토큰을 고려해 각 호출이 넘치지 않도록 계산하면 호출 실패율을 낮출 수 있다. 이때 패킹 전략은 필드별 응답 길이 분포를 기반으로 하여 호출당 처리 비용과 재조합 오버헤드를 균형 있게 조정해야 한다.
• 로컬 코드로 스키마 평탄화·패킹·응답 파싱·JSON 재조립을 전담시키고 모델 호출을 최소화하는 아키텍처가 재현성 및 운영 안정성 측면에서 유리하다. 모델에 전달하는 입력은 최대한 단순한 포맷으로 유지하여 모델 측의 파싱 오버헤드를 줄이고, 오류가 발생했을 때 재시도 정책을 필드 단위로 설계하면 비용 효율적 복구가 가능하다. 또한 채점 기준이 문서 단위인지 필드 단위인지에 따라 설계 선택이 달라지므로 배포 전 벤치마크 규칙을 명확히 정의해야 한다.
• 작업을 재현하거나 다른 도메인으로 옮길 때는 소규모(예: 50필드 이하) 테스트를 먼저 수행하여 스키마 분할의 이득이 실제로 발생하는지 확인해야 한다. 본문에서 분할 효과는 필드 수가 많은 경우에만 뚜렷하게 나타났으므로 작은 양식에서는 기존 단일 호출 방식과 차이가 없을 수 있다. 재현 실험에서는 입력 토크나이저 설정, 모델의 최대 출력 토큰, 하드웨어 환경을 문서화하여 결과 비교 가능성을 확보해야 한다.

Format Tax

— 모델 출력의 형식 제약 때문에 실제 정답이 손실되는 현상으로, 대형 JSON 같은 넓은 출력 포맷에서 괄호·쉼표 등 구문을 유지하느라 유효한 답변 토큰이 부족해지는 문제를 가리킨다. 본문에서는 단일 호출로 369개 필드를 출력하려 할 때 출력이 중간에 잘려 파서가 전체 문서를 무효로 처리하는 사례로 구체화되었다. 이 문제는 출력 토큰 한계와 문서 채점 방식이 결합되어 발생하며, 필드 단위로 손실을 분산시키는 방식으로 완화된다.

Schema Splitting

— 전체 추출 스키마를 모델 입력 크기와 출력 한계에 맞춰 여러 호출로 분할하는 방법으로, 각 호출이 처리할 필드 집합을 최소 호출 수로 패킹하여 토큰 초과를 방지한다. 본문에서는 1,000개 필드를 약 30회 소규모 호출로 나누어 처리한 구현 사례가 제시되었다. 이 방식은 단일 호출 실패 위험을 낮추고 잘린 출력으로 인한 전체 문서 실패를 필드 단위 실패로 국한시킨다.

Flattened path = value

— 중첩된 JSON 대신 '경로 = 값' 한 줄 형태로 각 필드를 출력하게 하는 출력 포맷으로, 출력이 중간에 잘려도 손상 범위를 한 필드로 국한시킨다. 본문에서는 filing.revenue = 1284500 같은 형식으로 응답을 받아 로컬 코드에서 다시 중첩된 트리를 재조합하는 흐름을 설명했다. 이 포맷은 구조적 파싱 오류를 줄이고 부분적 성공을 재조합할 수 있게 한다.

ExtractBench (369-field SEC slice)

— ExtractBench의 한 분할로서 SEC 제출 문서에서 369개 필드를 추출하도록 설계된 평가 집합으로, 사람 검증된 정답과 실제 문서가 포함되어 있다. 본문에서는 이 슬라이스가 넓은 스키마 출력에서 모델의 JSON 컷오프 문제를 반복적으로 드러냈다고 보고되었다. 평가 방식은 전체 문서가 올바른 JSON으로 파싱되는지를 기준으로 채점하므로 출력 중간 오류가 문서 전체 실패로 이어진다.