생성 예술의 기호학 기반 해석적 평가에 대하여

기존의 AI 예술 평가는 이미지의 화질이나 프롬프트와의 단순 일치도에만 치중하여 예술의 핵심인 상징과 은유를 놓치는 한계가 있었다. 이 논문은 기호학 이론을 도입해 AI가 예술가의 의도와 작품의 깊은 의미를 얼마나 잘 구현했는지 평가하는 새로운 틀을 제시하여 생성 예술이 단순한 '예쁜 그림'을 넘어 인간의 복잡한 경험을 표현하는 매체로 진화하도록 돕는다.

예술 작품은 단순히 대상을 닮게 그리는 '도상성(Iconicity)'을 넘어, 관습적인 약속인 '상징(Symbol)'과 맥락적 연결인 '지표(Index)'를 통해 의미를 전달한다. 하지만 기존의 AI 평가는 프롬프트의 단어와 이미지의 픽셀이 얼마나 닮았는지(Embedding 유사도)만 계산하므로, 피카소의 '게르니카'가 왜 훌륭한 반전 예술인지 설명하지 못하고 단순히 '왜곡된 그림'으로 치부할 위험이 있다.

이 문제를 해결하기 위해 논문은 퍼스의 기호학 이론을 딥러닝 평가에 도입했다. 창작자가 의도를 프롬프트(기호)로 만들고 AI가 이를 해석해 이미지(기호)를 생성하는 과정을 하나의 연쇄적인 의미 생성 과정으로 정의한다. 이를 통해 평가자는 단순히 겉모습이 닮았는지가 아니라, 프롬프트에 담긴 추상적 의도가 이미지의 구도, 색상, 상징물 등을 통해 적절히 재구성되었는지 추적한다.

결과적으로 SemJudge는 이미지의 특정 영역(Bounding Box)과 프롬프트의 특정 구절을 연결하여 '이 부분은 어떤 상징적 의미를 담고 있는가'를 논리적으로 분석한다. 이는 AI가 생성한 예술이 인간의 의도를 얼마나 깊이 있게 반영했는지 수치화하고 설명할 수 있게 함으로써, 생성 예술의 질적 수준을 한 단계 높이는 기준이 된다.

인간-생성 예술 상호작용(HGI)을 연쇄적 기호 작용으로 정의하고, 창작자의 의도(Dynamic Object)가 프롬프트(Sign)를 거쳐 생성물(Artifact)로 변환되는 과정을 수식화했다. 품질 측정 지표인 Semiosis Quality는 초기 의도와 최종 해석된 의미 사이의 거리를 계산하여 정의한다.

계층적 기호 작용 그래프(HSG)를 도입하여 프롬프트와 이미지를 구성 요소별로 분해한다. 각 노드는 기호(Sign), 대상(Object), 해석체(Interpretant)의 삼항 관계로 구성되며, 노드 간의 엣지는 지지, 상세화, 대조 등의 관계를 나타낸다. localizable 노드의 경우 이미지의 Bounding Box 좌표 [x_min, y_min, x_max, y_max]와 프롬프트의 텍스트 스팬을 직접 연결하여 근거를 제시한다.

SemJudge 알고리즘은 3단계로 작동한다. 1단계에서는 입력 프롬프트의 기호 작용을 재구성하고, 2단계에서는 생성된 이미지의 기호 작용을 분석하여 HSG를 생성한다. 3단계에서는 두 HSG를 비교하여 의도된 의미가 이미지에 얼마나 잘 투영되었는지 판단하고, 그 이유를 자연어 설명(Rationale)과 함께 출력한다.

SemiosisArt 벤치마크에서 SemJudge는 인간 전문가의 판단과 가장 높은 상관관계를 보였다. Gemini-3.1-Flash를 백본으로 사용했을 때 KRCC 0.746, SRCC 0.964를 기록하여, CLIPScore(KRCC 0.041)나 PickScore(KRCC 0.202) 등 기존 지표들을 압도적으로 상회했다.

해석의 질적 평가에서도 SemJudge는 인과적 일치도(3.29), 분석의 깊이(3.74), 작품 이해 도움 정도(3.61), 근거 제시의 적절성(3.53) 등 모든 항목에서 기존의 MLLM 기반 평가 모델(ArtCoT, DSG 등)보다 높은 점수를 받았다. 특히 기존 지표들이 시각적 유사성이 높은 이미지에만 높은 점수를 주는 '도상성 편향(Iconicity Bias)'이 있음을 통계적으로 유의미하게 확인했다(p < 0.01).

SemJudge는 Qwen-3.5-9B 또는 Gemini-3.1-Flash와 같은 멀티모달 대형 언어 모델(MLLM)을 백본으로 사용하여 Zero-shot 환경에서 작동한다. 핵심 아키텍처는 프롬프트와 이미지를 각각 HSG로 변환한 뒤, 두 그래프 사이의 의미적 정렬(Alignment)을 수행하는 구조다.

수학적으로는 의도된 도상성(Intended Iconicity)과 해석된 도상성(Interpreted Iconicity)의 차이가 커질수록 기호 작용의 품질이 저하된다는 '해석적 원리(Interpretive Principle)'를 기반으로 한다. 이를 통해 기존 지표들이 놓치던 상징적(Symbolic), 지표적(Indexical) 의미의 손실을 감지한다.

구현 측면에서는 텍스트 스팬 추출과 이미지 영역 검출을 동시에 수행하며, 각 노드에 대해 퍼스의 기호 삼항 관계를 자연어로 기술하도록 유도한다. 이는 평가 결과에 대한 높은 설명 가능성(Explainability)을 제공하며, 사용자가 AI의 판단 근거를 시각적으로 확인할 수 있게 한다.

SemiosisArt 데이터셋은 기독교, 동아시아, 힌두교, 이슬람 전통 및 현대 예술 모티프를 중심으로 구축되어 있어, 소수 문화권이나 현대 개념 예술의 모든 다양성을 완벽하게 대변하지 못할 수 있다. 또한 MLLM의 Zero-shot 성능에 의존하므로 모델 자체의 환각(Hallucination) 현상이 평가 결과에 영향을 미칠 가능성이 존재한다.