문서의 시각 단서를 직접 학습하는 시각적 사전학습이 텍스트 전용 사전학습을 능가함

대형 파운데이션 모델의 발전은 주로 대규모 텍스트 코퍼스에 대한 사전학습에 의존해 왔다. 그러나 많은 지식은 도표·조판된 수식·페이지 레이아웃과 같은 시각적 표현에 담겨 있어 텍스트로만 학습하면 중요한 정보가 유실될 가능성이 존재한다. 이 논문은 시각적 단서를 원천으로 삼는 사전학습이 텍스트 전용 학습을 능가하여 언어 지능을 확장할 수 있다는 점을 실험적으로 입증함으로써 학습 데이터 설계 관점에서 중요한 방향 전환을 제시했다.

전통적 사전학습은 대량의 텍스트를 통해 문장 간 통계와 언어 패턴을 포착하여 언어 지능을 구축했다. 그러나 연구에서 지적하듯 도표·수식·레이아웃 같은 시각적 표현은 동일한 문서에서 텍스트 변환 과정 중 상당 부분이 손실되어 텍스트 전용 학습이 포착하지 못하는 지식을 포함한다. 따라서 원시 이미지 형태의 문서를 입력으로 삼아 비지도 방식으로 표현을 학습하면 텍스트로는 복원할 수 없는 구조적·시각적 지식을 보존하면서 언어적 추론 능력을 보강할 수 있다.

연구진은 시각적 문서를 그대로 활용하는 비지도 사전학습 패러다임들을 설계하여 동일한 기반 코퍼스를 입력으로 사용했다. 해당 패러다임들은 텍스트 추출 단계를 배제하고 이미지 수준에서 학습 신호를 얻는 방식으로 구성되어 시각적 단서의 직접적 학습이 가능하도록 했다. 이후 여러 백본 모델과 벤치마크를 대상으로 비교 실험을 수행하여 각 접근의 성능 차이를 검증했다.

주요 실험 결과로서 시각적 사전학습이 동일한 원자료에서 텍스트 전용 사전학습을 지속적으로 능가했다는 사실이 보고되었다. 이 우수성은 다양한 백본과 여러 벤치마크에서 일관되게 관찰되어 결과의 범용성을 뒷받침했다. 논문은 이러한 결과를 근거로 시각적 사전학습이 파운데이션 모델 지능을 확장하는 효율적인 경로임을 제시했다.

초록만으로는 아키텍처 구성, 손실 함수, 학습 하이퍼파라미터 등 구체적 구현 세부사항이 제공되지 않아 기술적 상세를 충실히 재현할 수 없다. 다만 논문은 원시 시각 문서를 입력으로 하는 비지도 학습 구성과 이를 동일 코퍼스의 텍스트 전용 학습과 비교하는 실험 설계를 핵심으로 삼았다. 상세한 수식·알고리즘·학습 세부는 본문과 부록에 기술되어 있을 것으로 보이며 초록만으로는 해당 항목들을 명시할 수 없다.