RINO: RGB 입력·출력 통합 인터페이스로 시각 과제들을 하나의 이미지 편집기로 처리하는 연구

시각 분야는 입력·출력 형식이 과제별로 달라 각기 다른 인코더·디코더와 어댑터를 요구해 모델 통합이 어려웠다. RINO는 모든 시각 신호를 RGB로 표준화함으로써 하나의 사전학습 이미지 편집기 백본을 그대로 활용할 수 있게 해, 이해와 생성 과제를 동일한 인터페이스로 연결하는 가능성을 제시했다. 이 접근은 작업별 파라미터를 늘리지 않고 제로샷 전이 성능을 얻을 수 있다는 점에서 실무적·연구적 확장성을 제공한다.

기존 비전 모델들은 입력·출력의 표현 형식이 과제마다 달라 각기 다른 인코더와 출력 헤드를 필요로 했고, 이로 인해 모델 통합과 범용성이 제한되어 왔다. RINO는 이러한 장벽을 낮추기 위해 모든 시각적 신호를 RGB 이미지로 표현하면 단일 이미지 인코더·디코더로 여러 과제를 동일하게 처리할 수 있다는 관점을 취했다. 이 접근은 텍스트를 범용 인터페이스로 삼는 언어 모델의 관행을 시각에 적용한 것으로 볼 수 있다.

실제 동작 원리는 입력 또는 출력 신호를 RGB로 변환하는 규칙 기반 전처리·후처리와, 그 사이에서 작동하는 동결된 이미지 편집기 백본의 조합이다. 이해 문제에서는 자연 이미지를 입력으로 주고 텍스트 프롬프트로 작업을 지정하면 편집기가 RGB 형식의 구조화된 출력을 생성하고, 이후 색상 매핑이나 밝기 해독 규칙으로 해당 작업의 표준 포맷으로 복원한다. 생성 문제에서는 반대로 RGB로 표현된 조건(예: 세그먼트 맵, 깊이 시각화, 포즈 스켈레톤)을 입력으로 주어 자연스러운 이미지를 생성하도록 지시한다.

이 방식이 가능하게 된 핵심은 강력한 편집기 백본이 이미 풍부한 시각적 패턴을 내재하고 있어 RGB 형태의 구조적 제약을 해석하거나 자연 이미지로 바꾸는 능력을 어느 정도 보유한다는 점이다. 실험에서 Qwen-Image-Edit 등은 미세조정 없이도 깊이·세그먼트·포즈 같은 다양한 신호를 상당 수준 재현했고, 조건부 생성에서도 레이아웃을 따르는 결과를 냈다. 따라서 RGB 통일은 작업별 어댑터 없이 범용성 있는 시각 인터페이스를 제공할 수 있는 실용적 경로임이 확인되었다.

전체 접근 방식은 입력·출력을 모두 RGB로 정규화한 뒤, 사전학습된 이미지 편집기 F를 동결 상태로 사용해 x_img와 x_text를 받아 y_img(및 선택적 y_text)를 생성하는 모델 식으로 정식화되었다. 모델 내부에는 작업별 헤드나 어댑터를 추가하지 않고, 작업-특이적 전후처리 변환기만 사용해 RGB와 작업 표준 포맷 간의 매핑을 수행했다. 이 매핑은 색상→클래스, 밝기→깊이, 색상 기반 법선 맵 디코딩 등 규칙 기반이며 학습 가능한 파라미터를 포함하지 않았다.

핵심 메커니즘은 편집기 백본을 '검증된 RGB-투-이미지 편집기'로 취급하는 점이다. 본 논문에서는 Qwen-Image-Edit(20B MMDiT), LongCat-Image-Edit(6B 하이브리드), FireRed-Image-Edit(더블 스트림 멀티모달 디퓨전)의 공개 가중치를 사용했고 이들을 블랙박스로 유지했다. 각 과제에 대해 적절한 텍스트 프롬프트를 구성하고 동일한 샘플링 규정(스텝 수, CFG 등)을 기본으로 하되 백본 권장 설정을 따르는 방식으로 제로샷 추론을 수행했다.

학습 전략은 본 실험의 경우 미세조정 없이 제로샷 성능을 검증하는 것에 중점을 두었고, 평가에서는 작업별 표준 지표와 관행을 따랐다. 깊이 추정은 per-image 최소제곱 스케일·시프트 정렬을 통해 affine-invariant 지표를 사용했고, 세그먼트와 팽토픽 평가는 색상 해석·연결성 기반 후처리를 거쳐 mIoU·mAcc·aAcc 등을 계산했다. 조건부 생성 평가는 원본 프로토콜(ControlNet++ 등)에 따라 RMSE-255, FID, CLIPScore 등을 사용해 조건 충실도와 이미지 품질, 텍스트 정합성을 분리해서 측정했다.

깊이 추정에서 Qwen-Image-Edit는 DIODE-indoor에서 δ1=0.938을 기록해 Depth Anything V2의 0.952에 근접하는 성능을 보였다. NYUv2와 KITTI에서는 전문가 모델과 약 0.05 내외의 δ1 격차가 관찰되었고, 선형 깊이 스페이스 평가에서는 광범위 장면에서 성능 하락이 보고되었다. 이 결과는 동결 편집기 백본이 상대 깊이 레이아웃을 강하게 포착한다는 사실을 시사한다.

표면 법선 추정과 의미 분할에서도 편집기들은 제로샷으로 의미 있는 성능을 보였다. FireRed는 평균 각오차에서 DSINE과 근접한 값을 보였고, PASCAL VOC와 ADE20K의 일부 설정에서는 RINO의 세그먼테이션 mAcc와 aAcc가 zero-shot 전문 기법과 경쟁하거나 능가하는 경우가 있었다. 반면 다수의 세부 클래스 정합과 인스턴스 인식에서는 전문 모델 대비 낮은 RQ나 pmF1 등으로 한계가 드러났다.

조건부 생성 과제에서는 편집기들이 RGB 조건을 수용해 레이아웃을 보존하면서도 백본별로 질감과 사실성 차이를 보였다. 예를 들어 depth-to-image 과제에서 Qwen은 RMSE-255=33.83, FID=19.44, CLIPScore=30.15를 기록해 훈련된 ControlNet++ 계열 상위 모델에는 뒤처졌지만 여러 훈련된 어댑터 기반 기준선과는 경쟁 가능한 결과를 냈다. 인스턴스 맵 조건 생성에서는 일부 편집기가 InstanceDiffusion보다 높은 AP나 AR를 달성했고 FID는 전반적으로 편집기 백본이 더 우수했다.

전체 아키텍처는 입력 이미지와 텍스트 프롬프트를 받아 RGB 이미지를 출력하는 사전학습 이미지 편집기 ℱ를 중심으로 설계되었다. ℱ 내부는 편집기 백본이 담당하며 논문에서는 Qwen-Image-Edit(20B MMDiT), LongCat-Image-Edit(6B 하이브리드 DiT 계열), FireRed-Image-Edit(더블 스트림 멀티모달 디퓨전)을 사용해 동결된 상태로 테스트했다. 전후처리는 파라미터 없음 규칙으로 구성되어, RGB↔작업 포맷 매핑은 색상 매핑, 밝기→상대 깊이 복원, 연결성 기반 인스턴스 분리 등으로 구현되었다.

수학적·평가적 세부에서는 깊이 평가를 위해 per-image least-squares로 스케일과 시프트를 맞추는 affine-invariant 프로토콜을 적용했고, disparity-space와 linear-space 두 관행을 병행해 결과를 보고했다. 표면 법선은 컬러 코드로 법선 방향을 표현한 뒤 단위 벡터로 디코딩하고 평균·중앙각 오차를 계산했다. 세그먼트와 팬옵틱 평가는 컬러 기반 근접 매칭과 연결 컴포넌트 분할을 사용해 mIoU·mAcc·aAcc 및 PQ/SQ/RQ를 계산했다.

구현상 주목할 점은 모든 실험에서 편집기 가중치를 변경하지 않았고 샘플링 설정(denoising steps, CFG 등)은 백본 권장값을 따랐다는 점이다. 조건부 생성 평가에서는 DPT-Large를 이용해 생성 이미지로부터 깊이를 추출해 RMSE-255를 계산했고, 이미지 품질 및 텍스트 정합성은 FID와 CLIPScore로 측정해 기존 컨트롤 방법들과 일관되게 비교했다.

논문에서 명시된 주요 제한은 제로샷 성능이 편집기 백본의 사전학습 분포에 크게 의존한다는 점이다. 백본에 비자연적 신호(세그먼트, 깊이 등)가 일부 포함되어 있어 전이가 가능했지만 이러한 신호의 비중이 작아 세부적인 클래스 정합이나 인스턴스 인식에서는 전문 모델과 차이가 발생했다. 저자들은 이 격차를 좁히기 위해 RGB 형식의 비자연 데이터와 표준 이미지 편집 데이터를 혼합해 편집기를 instruction-tuning 하는 후속 작업이 필요하다고 제시했다.