대형 언어 모델의 테이블 읽기 실수 측정과 데이터 참조 오류 감소 방안

테이블 기반 질의에서 모델이 표 값을 잘못 인용하거나 일부 행을 누락하면 최종 정답이 틀릴 뿐 아니라 중간 추론의 신뢰성이 크게 저하된다. 본 연구는 이러한 데이터 참조 오류를 정량화하고 경량 크리틱을 통해 실시간으로 오류를 줄여 최종 정확도를 개선할 수 있음을 보였다. 결과적으로 테이블 추론 시스템의 신뢰성 평가에 최종 정답 정확도 외에 별도의 참조 정확성 차원이 필요하다고 입증되었다.

테이블 과제는 입력 표에서 정확한 셀을 찾아 인용하고 그 값을 기반으로 수리적 또는 논리적 연산을 수행해야 성공한다. 대형 언어 모델은 표 형식을 파싱하고 의미를 이해할 수 있으나, 행과 열이 유사하거나 값이 촘촘하게 배열된 경우 정확한 셀 정렬과 인용에 실패하여 데이터를 잘못 인용하거나 일부 행을 누락하는 오류를 범한다. 이 오류는 최종 정답이 맞더라도 중간 추론의 신뢰성을 훼손하는 별도의 결함 차원이다.

본 연구는 이러한 문제를 두 가지 범주로 규정했다. 첫째, Incorrect Citation은 모델이 잘못된 셀 값이나 열을 인용하거나 값 자체를 오기한 경우이다. 둘째, Omitted Information은 정답 도출에 필요한 특정 행이나 값이 응답에서 누락된 경우이다. 이러한 분류는 오류의 원인과 완화 전략을 구분하는 기반이 된다.

오류 완화의 핵심은 '참조 자체의 정확성'을 별도로 검출하고 이를 추론 파이프라인에 끼워 넣는 것이다. 구체적으로는 DRE를 판별하는 크리틱을 통해 샘플링된 응답들의 참조 무결성을 평가하거나 응답 세그먼트를 재샘플링해 참조 오류를 줄인다. 이 접근은 모델의 지식 한계가 아니라 참조 절차의 부주의가 주된 원인임을 규명하므로 실시간 보정으로 상당한 성능 향상이 가능하다는 직관을 제공한다.

연구는 먼저 DRE 정의와 평가 지표를 명확히 했다. DRE Rate, Correct-in-DRE Ratio, DRE-in-Incorrect Ratio를 사용해 오류 빈도와 오류가 최종 정확도에 미치는 영향을 계량화했다. 응답의 장황성을 처리하기 위해 긴 Chain-of-Thought는 'Wait' 토큰으로 분할해 세그먼트 단위로 판정 및 재샘플링을 수행했다.

DRE 검출 파이프라인은 LLM-as-a-Judge를 중심으로 구성되었다. 강력한 판정자 Sonnet-3.7에 테이블과 정답을 함께 제공해 세그먼트별로 DRE 존재 여부를 이진 라벨로 생성했고 이 결과를 크리틱 훈련 데이터로 사용했다. 판정자에는 정답을 함께 제시해 잘못된 최종 답변의 원인이 테이블 참조 오류인지 교차확인할 수 있도록 설계했다.

추론 보정 기법은 두 갈래이다. 첫째, critic-based-filtering은 N개의 샘플링 응답에서 크리틱이 DRE가 적다고 판단한 응답들로 집합을 좁혀 다수결 등 후처리를 수행한다. 둘째, rejection sampling은 세그먼트 단위로 크리틱의 승인을 받지 못하면 해당 세그먼트만 재샘플링해 비용을 줄이면서 오류 전파를 억제한다. 두 방식 모두 최종 정답률 개선을 목표로 설계되었다.

경량 크리틱 학습은 두 단계로 이루어졌다. 먼저 Sonnet-3.7 라벨로 Qwen3-4B-Instruct를 SFT해 출력 형식을 안정화했다. 그 다음 RLVR을 적용해 이진 검증 보상을 이용해 일반화 성능을 향상시켰다. 학습 데이터는 실제 응답 세그먼트와 규칙 기반으로 합성한 양성 예시를 혼합해 구성했다.

광범위한 평가에서 DRE는 모델 계열과 크기를 가로질러 널리 관찰되었다. 예를 들어 Qwen3-8B는 WTQ에서 DRE Rate 14.04%를 기록했고 소규모 모델은 더 높은 DRE 비율을 보였으며 일부 모델은 30% 이상을 기록했다. 최종 정답 정확도만으로는 DRE의 영향이 완전히 드러나지 않으며 Correct-in-DRE 비율을 통해 올바른 최종 답변에도 참조 오류가 포함될 수 있음을 확인했다.

크리틱 기반 필터링은 샘플 평균 대비 일관된 정확도 향상을 보였다. 샘플링 N=8에서 크리틱으로 오류가 적은 응답을 추려 다수결을 적용하면 평균 정확도가 상승했고 특정 설정에서는 무작위 선택만으로도 다수결보다 높은 성능을 보였다. 거부 샘플링은 DRE가 집중된 DRE subset에서 더 큰 이득을 주었으며 일부 케이스에서 최대 11.96%의 정확도 개선이 관찰되었다.

경량 Critic-4B는 Sonnet-3.7 기반 라벨로 SFT와 RLVR를 거쳐 전체 F1 약 78.16%를 달성했다. Critic-4B를 이용한 거부 샘플링은 Sonnet-3.7 대비 효과는 다소 작았으나 일관되게 DRE율을 낮추고 최종 정확도를 개선했으며 비용 측면에서 실용적 대안임이 확인되었다.

데이터셋은 WTQ, TableBench, FinQA, SciTab, ToTTo 등 표 관련 과제를 포함했으며 입력 포맷으로 JSON, CSV, Markdown을 실험했다. 평가는 Sonnet-3.7+gt를 기준으로 대규모 자동 라벨을 생성해 DRE Rate 등 지표를 계산했다. 모델 풀은 1.7B에서 20B까지 포함해 모델 크기와 계열에 따른 일반성을 확보했다.

크리틱 학습을 위한 데이터는 Qwen3-8B의 WTQ 응답 세그먼트에서 Sonnet-3.7 판정을 사용해 수집했다. SFT 단계는 2,000개의 양·음성 균형 샘플로 워밍업을 하고 RLVR 단계에는 5,712개의 샘플을 사용했다. 합성 양성 사례는 규칙 기반으로 네 가지 유형의 DRE를 삽입해 생성해 데이터 다양성을 확보했다.

평가 메트릭은 이진 DRE 검출 F1과 추론 성능 변화이다. DRE Rate는 |DRE|/|Total|로 정의했고 Correct-in-DRE Ratio는 DRE를 포함하면서도 정답을 맞춘 비율로 중간 단계 오류의 숨겨진 영향을 계량화했다. 거부 샘플링은 최대 재시도 한도를 N=8로 설정하고 세그먼트 단위 재샘플링을 통해 비용을 제어했다.

연구는 테이블 관련 과제에만 초점을 두어 DRE의 다른 도메인 확장성은 검증하지 못했다. 해석학적 원인 규명은 제한적으로 다루어져 참조 오류의 내부 동작 원인에 대한 상세 분석은 부족하다. 자원 제약으로 attention 기반의 스티어링 실험이나 대규모 해석 분석을 수행하지 못한 점이 명시되어 있다.