클로드 코드(Claude Code)와 문서 처리 전용 에이전트의 데이터 추출 정확도 비교 실험

작성자의 실험 결과에 대해 범용 모델의 한계를 인정하며, 특히 금융 및 보험 등 수치 정확도가 생명인 분야에서의 위험성에 공감하는 분위기이다.

• 데이터 추출 작업 시 추론(Reasoning) 기반 모델보다는 문서 구조를 직접 파악하는 전용 파싱 도구를 우선 고려해야 한다.
• 프로덕션 배포 전에는 반드시 원본 데이터와 필드 단위로 대조하는 전수 검사 샘플링이 필요하다.

• 범용 AI 에이전트는 문서 추출 시 형식은 완벽하지만 내용은 틀린 '설득력 있는 환각'을 생성할 위험이 크다.
• 추론 기반 추출은 매 문서마다 새로운 인퍼런스 문제를 해결해야 하므로 오류가 불규칙하고 예측 불가능하다.
• 구조 쿼리 방식의 전용 도구가 데이터 무결성이 중요한 프로덕션 환경에서 훨씬 안정적인 성능을 보여준다.
• 소규모 테스트에서의 40% 오류율은 수천 건 단위의 대규모 처리 시 수습 불가능한 데이터 오염으로 이어질 수 있다.