가짜 통합: 엔트로피 프로빙을 통해 밝혀진 통합 멀티모달 모델의 발산하는 정보 패턴

텍스트와 이미지를 동시에 생성하는 통합 멀티모달 모델(UMM)이 실제로는 두 매체 간의 정보를 제대로 통합하지 못하는 '가짜 통합' 상태에 있음을 정보 이론적 관점에서 증명했습니다. 모델 내부의 정보 흐름을 분석하여 텍스트의 창의성과 이미지의 정확성이 충돌하는 원인을 밝혀내고, 진정한 멀티모달 시너지를 위한 설계 방향을 제시합니다.

기존의 통합 멀티모달 모델은 텍스트와 이미지를 동일한 Transformer 아키텍처에서 처리하면 자연스럽게 시너지가 발생할 것으로 기대했다. 하지만 실제로는 텍스트 생성의 핵심인 '다음 토큰 예측'은 문맥적 개연성을 중시하는 고엔트로피 작업인 반면, 이미지 생성은 입력에 대한 정확한 묘사를 중시하는 저엔트로피 작업이라는 본질적 차이가 존재한다.

이 논문은 이러한 차이를 '엔트로피(Entropy)'라는 개념으로 설명한다. 엔트로피는 정보의 불확실성이나 다양성을 의미하는데, 텍스트 생성 시에는 다양한 답변이 가능하도록 엔트로피가 높게 유지되어야 하지만, 이미지 생성 시에는 프롬프트와 일치하는 정확한 결과를 위해 엔트로피가 낮아지는 경향이 있다. 대부분의 모델은 이 두 가지 상충하는 패턴을 하나의 내부 공간에서 조화시키지 못하고 각기 따로 노는 '가짜 통합' 상태에 머물러 있다.

결국 진정한 통합을 위해서는 단순히 파라미터를 공유하는 것을 넘어, 텍스트와 이미지가 동일한 정보 흐름의 논리를 공유해야 한다. 연구팀은 이미지를 텍스트처럼 문맥적으로 예측하도록 학습시킨 모델이 규모가 작더라도 더 뛰어난 멀티모달 추론 능력을 보여준다는 점을 통해, 정보 패턴의 일관성이 모델의 크기보다 더 중요하다는 사실을 입증했다.

UMM의 내부 상태를 분석하기 위해 명시적인 확률 밀도 함수 없이도 엔트로피를 추정할 수 있는 RKHS(Reproducing Kernel Hilbert Space) 기반의 행렬 렌이 엔트로피(Matrix-based Renyi Entropy) 공식을 재구성하여 적용했다.

임베딩 시퀀스 Z가 주어질 때, 가우시안 커널을 사용하여 Gram 행렬 K를 생성한다. [입력 벡터 간의 거리를 계산하여 지수 함수를 적용] → [K 행렬을 trace 값으로 나누어 정규화된 행렬 A를 생성] → [A의 거듭제곱의 trace 값에 로그를 취해 엔트로피 Hα(K)를 산출] → [이 값은 표현 공간의 등방성과 정보 밀도를 나타낸다].

조건부 엔트로피 프록시를 통해 프롬프트와 응답 간의 의존성을 측정한다. [프롬프트와 응답의 결합 커널 행렬 Kjoint를 구성] → [결합 엔트로피에서 프롬프트 엔트로피를 뺀 값으로 조건부 엔트로피를 정의] → [이 값이 낮으면 입력에 충실한 생성을, 높으면 창의적인 생성을 의미함].

BAGEL(14B)과 같은 대형 모델은 인코딩 초기 단계에서 텍스트 엔트로피가 급격히 감소하는 '엔트로피 붕괴(Entropy Collapse)' 현상을 보였다. 이는 모델이 텍스트의 세부 정보를 과도하게 압축하여 이미지와의 정렬을 시도하지만, 정작 이미지 생성 시에는 텍스트의 논리적 추론 결과를 반영하지 못하는 결과를 초래했다.

반면 1.5B 파라미터의 소형 모델인 Harmon은 텍스트와 이미지 생성 시의 조건부 엔트로피가 레이어가 깊어질수록 유사한 수준으로 수렴하는 '교차 모달 수렴(Cross-modal Convergence)'을 보였다. 실험 결과, Harmon은 미국 국기 관련 추론 작업에서 14B 모델인 BAGEL이 실패한 이미지 생성을 성공적으로 수행하며 더 높은 멀티모달 시너지를 증명했다.

모든 조사 대상 모델에서 프롬프트의 길이는 엔트로피와 양의 상관관계를 가졌으나, 모델의 아키텍처와 규모에 따라 엔트로피의 절대적인 수준과 레이어별 변화 양상은 크게 달랐다. 특히 중간 길이의 프롬프트에서 엔트로피 진동이 가장 크게 나타나 모델 내부의 정렬 모호성을 드러냈다.

본 연구는 UMM의 내부 메커니즘을 '암시적 공동 분포(Implicit Joint Distribution) P(X, Y)' 학습 과정으로 정의한다. 여기서 X는 시각적 입력, Y는 텍스트 입력을 의미하며, 모델의 통합 정도는 이 공동 분포의 내부 일관성에 의해 결정된다.

대부분의 모델이 채택하는 '패턴 분리 응답(Pattern-Split Response)'은 텍스트에는 LLM의 확률적 특성을, 이미지에는 확산 모델(Diffusion)의 결정론적 특성을 그대로 이식한 결과다. 이는 공유 파라미터 내에서 두 가지 상이한 유도 편향(Inductive Bias)이 충돌하게 만든다.

연구팀은 '모달리티 비대칭 인코딩'이 발생하는 원인으로 아키텍처적 사전 지식(Architectural Priors)을 지목했다. 텍스트는 공격적으로 압축되는 반면 시각 정보는 보수적으로 유지되는 경향이 있으며, 이러한 초기 단계의 불일치가 하류 생성 작업에서의 성능 저하로 이어진다.

본 논문은 엔트로피 변화를 통해 현상을 진단하는 데 집중하고 있으며, 이미 학습된 모델의 엔트로피 패턴을 사후적으로 수정하여 성능을 직접적으로 개선하는 구체적인 방법론은 제시하지 않았다.