전방위적 쌍별 왜곡 그래프: 이미지 비교 평가를 위한 새로운 구조적 접근

기존의 이미지 품질 평가는 이미지 전체를 하나의 숫자로 요약하는 방식에 의존하여 세부 지역의 왜곡을 놓치는 한계가 있었다. 이 논문은 이미지를 지역 단위로 쪼개어 왜곡 종류와 심각도를 그래프 구조로 표현하는 Distortion Graph를 제안하여, MLLM이 세밀한 시각적 결함을 더 정확하게 이해하도록 돕는다.

기존의 이미지 품질 평가(IQA)는 주로 Convolutional Neural Network나 Transformer를 통해 이미지 전체의 특징을 추출하고 이를 하나의 스칼라 점수로 회귀(regression)시키는 방식을 사용했다. 하지만 이러한 'Top-down' 방식은 이미지 내 특정 부분에 발생한 미세한 노이즈나 블러가 전체 품질에 미치는 영향을 구체적으로 설명하지 못하며, 특히 두 이미지를 비교할 때 어느 부분이 왜 더 나쁜지에 대한 논리적 근거를 제시하기 어렵다.

이 논문은 이미지를 의미 있는 지역(region)들의 집합으로 보고, 각 지역을 노드로, 지역 간의 관계를 에지로 정의하는 Scene Graph 개념을 이미지 비교 영역으로 확장했다. 각 노드에는 해당 지역의 왜곡 상태(Embedding된 속성)를 저장하고, 에지에는 두 이미지 사이의 상대적인 품질 차이(Predicate)를 기록한다. 이를 통해 복잡한 시각적 정보를 'A 지역은 B 이미지보다 블러가 심해 품질이 낮다'와 같은 구조화된 데이터로 변환한다.

결과적으로 이러한 구조적 표현은 MLLM이 단순히 이미지를 보는 것을 넘어, 그래프의 논리적 연결을 따라가며 추론할 수 있게 한다. 이는 마치 사람이 사진을 비교할 때 '이 사람의 얼굴 부분이 저 사진보다 더 뭉개졌네'라고 판단하는 인지 과정을 모사한 것으로, 시각적 이해의 정밀도를 획기적으로 높이는 기반이 된다.

PANDA 아키텍처는 이미지 쌍(Anchor, Target)을 입력받아 지역별 왜곡 정보를 예측하는 다중 헤드 구조를 채택했다. 먼저 DINOv2와 같은 사전 학습된 Encoder를 통해 이미지 특징 맵 F를 추출하고, SAM(Segment Anything Model)을 활용한 Panoptic Segmentation으로 각 지역의 이진 마스크 m을 생성한다. [이미지 특징 맵과 마스크 입력 → Hadamard Product 연산 → 지역별 특징 벡터 H 생성] 과정을 통해 각 지역의 시각적 정보를 보존한다.

추출된 지역 특징은 Degradation Decoder로 전달된다. 이 디코더는 Transformer 레이어를 기반으로 하며, 각 지역 쿼리가 이미지 전체 특징에 주목(Self-Attention)하고 대응되는 상대 이미지의 지역과 비교(Cross-Attention)하도록 설계됐다. [지역 쿼리와 특징 맵 입력 → Multi-head Attention 연산 → 업데이트된 지역 표현 생성] 과정을 거쳐 두 이미지 간의 상관관계를 학습한다.

최종적으로 4개의 예측 헤드(MLP)가 각 지역에 대해 왜곡 유형(Distortion), 심각도(Severity), 상대적 비교(Relation), 품질 점수(Score)를 출력한다. 분류 태스크에는 Categorical Cross-Entropy Loss를, 점수 회귀에는 L1 Loss를 사용하며, 전체 손실 함수 L = λ1L_rel + λ2L_dist + λ3L_sev + λ4L_score로 정의되어 모든 속성을 동시에 최적화한다.

PandaBench Easy 세트 실험 결과, PANDA 모델은 왜곡 분류 정확도 0.78, 심각도 정확도 0.59를 기록하며 기존 MLLM들을 압도했다. 특히 GPT-4o(왜곡 0.46, 심각도 0.33)나 Gemini 2.5 Pro(왜곡 0.39, 심각도 0.29)와 같은 거대 모델들조차 지역 수준의 세밀한 왜곡 분석에서는 무작위 선택보다 조금 나은 수준의 성능을 보였다.

난이도가 높은 Hard 세트에서도 PANDA는 왜곡 정확도 0.27을 유지하며 성능 하락폭이 가장 적었으나, 대부분의 MLLM은 성능이 급격히 저하되어 지역 기반 추론의 어려움을 입증했다. 또한, PANDA가 생성한 왜곡 그래프를 GPT-5 Mini의 Chain-of-Thought 프롬프트에 힌트로 제공했을 때, 모델의 지역 왜곡 이해 정확도가 약 15% 향상되는 Emergent Results를 확인했다.

효율성 측면에서 PANDA는 단 0.028B의 파라미터만으로도 7B 이상의 대형 모델들보다 뛰어난 성능을 보였으며, 이미지 쌍당 추론 시간은 3.53초로 타 오픈소스 MLLM(최대 274초) 대비 월등히 빨랐다. 이는 구조적 표현이 모델의 연산 효율성을 극대화할 수 있음을 보여준다.

PANDA는 DETR의 객체 탐지 메커니즘을 왜곡 분석에 맞게 변형했다. 고정된 수의 학습 가능한 토큰을 사용하는 대신, 입력 이미지에서 추출된 실제 지역 마스크를 기반으로 토큰 풀을 동적으로 구성한다. 각 지역 노드는 o = (class, mask, image_id, distortion_attr, scene_attr)의 5-tuple로 정의되어 풍부한 메타데이터를 보유한다.

왜곡 그래프(DG)의 핵심인 에지(Edge) 정의는 Validity, Ordering, Functional Comparison의 세 가지 속성을 따른다. 에지는 항상 Anchor 지역에서 Target 지역으로 향하는 방향성을 가지며, 두 이미지 사이의 동일한 객체 지역 쌍에 대해 반드시 하나의 왜곡 관계 r이 존재하도록 강제한다. 이는 그래프의 일관성을 유지하고 비교 연산의 복잡도를 O(N)으로 제어하는 데 기여한다.

학습 시에는 DINOv2 가중치를 고정한 상태에서 디코더와 예측 헤드만 학습시키는 효율적인 전략을 취했다. 8개의 NVIDIA V100 GPU 환경에서 배치 사이즈 6으로 30 에포크 동안 학습을 진행했으며, AdamW 옵티마이저와 1e-4의 학습률을 사용했다. 이러한 설정은 모델이 시각적 특징 추출 능력은 유지하면서 왜곡 관계 추론에만 집중할 수 있게 한다.

PANDA는 현재 왜곡 분석을 위한 최소한의 베이스라인 역할을 수행하며, 복잡한 지역 간의 상호작용을 처리하는 데 있어 개선의 여지가 있다. 또한 PandaSet의 품질 점수와 비교 레이블이 특정 IQA 모델(TOPIQ)의 결과에 의존하고 있어, 해당 모델의 편향이 데이터셋에 상속되었을 가능성이 존재한다. 대규모의 인간 주석 기반 지역별 비교 데이터셋 구축이 향후 과제로 남아 있다.