CLBench-V 멀티모달 컨텍스트 학습 벤치마크

현실 문제들은 텍스트만이 아닌 표, 그림, 페이지 레이아웃 등 멀티모달 증거를 포함한 문서로부터 과제별 정보를 얻어야 합니다. CLBench-V는 증거 검색·문맥값 적용·문맥 정의 지식 학습의 세 수준으로 능력을 분리해 어느 단계에서 성능이 무너지는지 측정합니다. 이 계층적 진단은 멀티모달 입력을 받는 최신 모델들이 단순 입력 수용과 실제 맥락 학습 능력에서 서로 다른 한계를 보인다는 점을 드러내며, 연구자와 엔지니어가 개선 타깃을 구체화하는 데 유용합니다.

멀티모달 컨텍스트 학습은 주어진 시각·문서 증거에서 먼저 관련 근거를 찾고(L0), 그 값을 기존의 추론 절차에 정확히 바인딩해 적용한 뒤(L1), 필요하면 문맥에서 새 규칙이나 결론을 합성해 일반화(L2)해야 성공합니다. 입력은 PDF 변환 페이지, 표·그림·차트, 웹 스크린샷 등으로 구성되며 모델은 시각 탐색→정보 추출→값 결합→추론·일반화의 순서로 처리합니다. 이 과정에서 근거의 위치·형식·분산 정도가 달라지면 증거 누락, 잘못된 바인딩, 또는 사전 지식의 덮어쓰기 같은 서로 다른 실패 모드가 발생합니다.

CLBench-V는 공개 벤치마크의 정규화된 변환과 도메인별 데이터 구축 두 축으로 구성됩니다. 공개 데이터는 시각 의존성, 불필요 컨텍스트 최소화, 다중 홉 선호, 비비디오 범위 배제의 네 가지 기준으로 선별했고 Qwen3.5-Plus 검사기를 써서 자동 필터링한 뒤 수작업 검토를 거쳤습니다. 도메인 구축 파이프라인은 PDF→Markdown 변환, 후보 생성, 자동 필터링, 인간 검수로 이루어지며 재무 태스크는 DuPont 분해를 기준으로 수치 결합, 논문 태스크는 Result 이전 내용으로부터 결과를 추론하도록 구성했습니다. 모든 태스크는 통일된 입력·프롬프트·추출·채점 프레임워크로 실행해 레벨 간 비교 가능성을 확보했습니다.

총 3,443개 인스턴스에 대해 6개 최신 멀티모달 모델을 평가한 결과 전체 최고 점수는 0.2847로 나타났습니다. 모델별로 능력 프로필이 크게 달랐고 InternVL3.5-30B-A3B가 전반적·L0·L2에서 우세한 반면 Qwen3.5-Plus는 L1에서 가장 높은 성적을 보였습니다. 데이터셋별로도 성능 편차가 크며 Pix2Fact, BrowseComp-V3, CL-Bench-Table, CourtSI 같은 태스크는 모든 모델에서 난도가 높은 것으로 확인됐습니다. 열린 응답형 채점에서는 판정자 모델 선택에 따라 점수가 유의미하게 변동했습니다.

논문은 리스트 수준 채점식과 태스크별 결정론적 평가자를 병행해 평가 체계를 구성했습니다. 논문 결론 추론 채점식은 $s_{\mathrm{paper}}=\max\left(0,\frac{N_{\mathrm{hit}}-N_{\mathrm{extra}}}{N_{\mathrm{ref}}}\right)$로 정의되며 여기서 $N_{\mathrm{ref}}$는 참조 발견 수, $N_{\mathrm{hit}}$는 정답으로 판정된 예측 수, $N_{\mathrm{extra}}$는 근거 없는 과잉 예측 수입니다. 계산 흐름은 모델 출력 → LLM 판정자로 N_hit/N_extra 산출 → 위 식 적용으로 점수 산정이며 예시로 N_ref=3, N_hit=2, N_extra=0이면 점수는 0.666...이 됩니다. 다중선택은 옵션 추출→정확 일치, 숫자형은 정규화·허용오차·MAE 중 태스크별 규칙을 사용하며 열린 응답형은 사전 추출된 답을 LLM 판정으로 정량화해 집계합니다.

첫째, 통합된 벤치마크가 여러 공개 소스와 신규 태스크를 혼합하므로 원출처별 주석 스타일과 평가 절차의 이질성이 존재합니다. 둘째, 일부 하위집합은 샘플 수가 작아 포괄적 분포를 대표하지 못하며 진단적 용도로 해석해야 합니다. 셋째, 열린 응답형 채점에 LLM 판정자를 사용하면 판정자 모델에 따른 편향이 남을 수 있고, 이에 대한 보정이 필요합니다. 넷째, 재무 태스크는 현재 최종 ROE 정밀 일치만 채점하고 중간 DuPont 단계 점검은 완전하게 반영하지 않았습니다.