RINO: RGB 입력·출력 통합 인터페이스로 시각 과제들을 하나의 이미지 편집기로 처리하는 연구

왜 중요한가

시각 분야는 입력·출력 형식이 과제별로 달라 각기 다른 인코더·디코더와 어댑터를 요구해 모델 통합이 어려웠다. RINO는 모든 시각 신호를 RGB로 표준화함으로써 하나의 사전학습 이미지 편집기 백본을 그대로 활용할 수 있게 해, 이해와 생성 과제를 동일한 인터페이스로 연결하는 가능성을 제시했다. 이 접근은 작업별 파라미터를 늘리지 않고 제로샷 전이 성능을 얻을 수 있다는 점에서 실무적·연구적 확장성을 제공한다.

핵심 기여

RGB In and RGB Out(RINO) 패러다임 제시

모든 비자연 이미지 신호(세그먼트, 깊이, 포즈 등)를 RGB로 인코딩하여 입력과 출력을 통일하는 프레임워크를 제안했다. 이 패러다임은 작업별 인코더·디코더·어댑터를 도입하지 않고도 사전학습된 이미지 편집기(동결)를 이용해 다양한 이해·생성 과제를 처리하게 해준다. 제안된 방식은 규칙 기반 변환기를 전후처리로 사용해 모델 내부 파라미터 변화를 전혀 요구하지 않았다.

오픈 소스 이미지 편집기들을 이용한 광범위 제로샷 검증

Qwen-Image-Edit, FireRed-Image-Edit, LongCat-Image-Edit 같은 공개된 편집기 백본을 동결 상태로 그대로 사용해 25개 과제에서 제로샷 성능을 평가했다. 깊이 추정, 표면 법선, 의미 분할, 검출·인스턴스 분할, 포즈 추정, 조건부 생성 등 다양한 데이터셋에서 정량 및 정성 비교를 수행했다. 검증 결과 일부 작업에서는 전문 모델과 근접한 성능을 보였고, 조건부 생성에서는 제어 기반 모델들과 경쟁 가능한 결과를 도출했다.

무파라미터 변환기와 평가 파이프라인 설계

RGB 출력을 작업별 표준 포맷으로 되돌리는 파라미터 없음의 변환기(예: 색상→클래스, 밝기→상대 깊이)를 설계해 모델 외부에서 해독하도록 구성했다. 깊이 평가는 이미지별 선형 정렬(최소제곱 스케일·시프트) 절차를 적용해 affine-invariant 지표를 사용했고, 세분화·인스턴스 분할·포즈 등은 각각 적절한 디코더·후처리(색상 매칭, 연결성 분할 등)를 통해 평가지표와 연결했다. 이 설계는 백본의 변경 없이 다양한 지표를 공정하게 비교할 수 있게 만들었다.

생성 편집기 백본의 제로샷 전이 한계와 향후 방향 명시

실험 결과 사전학습 데이터에 세분화된 시각 신호가 일부 포함되어 있어 편집기 백본이 제로샷 전이를 가능케 했지만, 미세한 클래스 정합성과 인스턴스 인식에서는 전문 모델보다 성능이 뒤처지는 한계가 확인되었다. 논문은 이 격차를 줄이기 위해 RGB 형식의 비자연 데이터와 편집 지침을 혼합한 추가적인 지침 튜닝(instruction-tuning)을 제안했다. 또한 3D, 비디오, 월드 모델 등 다른 도메인 확장의 가능성을 제시했다.

핵심 아이디어 이해하기

기존 비전 모델들은 입력·출력의 표현 형식이 과제마다 달라 각기 다른 인코더와 출력 헤드를 필요로 했고, 이로 인해 모델 통합과 범용성이 제한되어 왔다. RINO는 이러한 장벽을 낮추기 위해 모든 시각적 신호를 RGB 이미지로 표현하면 단일 이미지 인코더·디코더로 여러 과제를 동일하게 처리할 수 있다는 관점을 취했다. 이 접근은 텍스트를 범용 인터페이스로 삼는 언어 모델의 관행을 시각에 적용한 것으로 볼 수 있다.

실제 동작 원리는 입력 또는 출력 신호를 RGB로 변환하는 규칙 기반 전처리·후처리와, 그 사이에서 작동하는 동결된 이미지 편집기 백본의 조합이다. 이해 문제에서는 자연 이미지를 입력으로 주고 텍스트 프롬프트로 작업을 지정하면 편집기가 RGB 형식의 구조화된 출력을 생성하고, 이후 색상 매핑이나 밝기 해독 규칙으로 해당 작업의 표준 포맷으로 복원한다. 생성 문제에서는 반대로 RGB로 표현된 조건(예: 세그먼트 맵, 깊이 시각화, 포즈 스켈레톤)을 입력으로 주어 자연스러운 이미지를 생성하도록 지시한다.

이 방식이 가능하게 된 핵심은 강력한 편집기 백본이 이미 풍부한 시각적 패턴을 내재하고 있어 RGB 형태의 구조적 제약을 해석하거나 자연 이미지로 바꾸는 능력을 어느 정도 보유한다는 점이다. 실험에서 Qwen-Image-Edit 등은 미세조정 없이도 깊이·세그먼트·포즈 같은 다양한 신호를 상당 수준 재현했고, 조건부 생성에서도 레이아웃을 따르는 결과를 냈다. 따라서 RGB 통일은 작업별 어댑터 없이 범용성 있는 시각 인터페이스를 제공할 수 있는 실용적 경로임이 확인되었다.

방법론

전체 접근 방식은 입력·출력을 모두 RGB로 정규화한 뒤, 사전학습된 이미지 편집기 F를 동결 상태로 사용해 x_img와 x_text를 받아 y_img(및 선택적 y_text)를 생성하는 모델 식으로 정식화되었다. 모델 내부에는 작업별 헤드나 어댑터를 추가하지 않고, 작업-특이적 전후처리 변환기만 사용해 RGB와 작업 표준 포맷 간의 매핑을 수행했다. 이 매핑은 색상→클래스, 밝기→깊이, 색상 기반 법선 맵 디코딩 등 규칙 기반이며 학습 가능한 파라미터를 포함하지 않았다.

핵심 메커니즘은 편집기 백본을 '검증된 RGB-투-이미지 편집기'로 취급하는 점이다. 본 논문에서는 Qwen-Image-Edit(20B MMDiT), LongCat-Image-Edit(6B 하이브리드), FireRed-Image-Edit(더블 스트림 멀티모달 디퓨전)의 공개 가중치를 사용했고 이들을 블랙박스로 유지했다. 각 과제에 대해 적절한 텍스트 프롬프트를 구성하고 동일한 샘플링 규정(스텝 수, CFG 등)을 기본으로 하되 백본 권장 설정을 따르는 방식으로 제로샷 추론을 수행했다.

학습 전략은 본 실험의 경우 미세조정 없이 제로샷 성능을 검증하는 것에 중점을 두었고, 평가에서는 작업별 표준 지표와 관행을 따랐다. 깊이 추정은 per-image 최소제곱 스케일·시프트 정렬을 통해 affine-invariant 지표를 사용했고, 세그먼트와 팽토픽 평가는 색상 해석·연결성 기반 후처리를 거쳐 mIoU·mAcc·aAcc 등을 계산했다. 조건부 생성 평가는 원본 프로토콜(ControlNet++ 등)에 따라 RMSE-255, FID, CLIPScore 등을 사용해 조건 충실도와 이미지 품질, 텍스트 정합성을 분리해서 측정했다.

주요 결과

깊이 추정에서 Qwen-Image-Edit는 DIODE-indoor에서 δ1=0.938을 기록해 Depth Anything V2의 0.952에 근접하는 성능을 보였다. NYUv2와 KITTI에서는 전문가 모델과 약 0.05 내외의 δ1 격차가 관찰되었고, 선형 깊이 스페이스 평가에서는 광범위 장면에서 성능 하락이 보고되었다. 이 결과는 동결 편집기 백본이 상대 깊이 레이아웃을 강하게 포착한다는 사실을 시사한다.

표면 법선 추정과 의미 분할에서도 편집기들은 제로샷으로 의미 있는 성능을 보였다. FireRed는 평균 각오차에서 DSINE과 근접한 값을 보였고, PASCAL VOC와 ADE20K의 일부 설정에서는 RINO의 세그먼테이션 mAcc와 aAcc가 zero-shot 전문 기법과 경쟁하거나 능가하는 경우가 있었다. 반면 다수의 세부 클래스 정합과 인스턴스 인식에서는 전문 모델 대비 낮은 RQ나 pmF1 등으로 한계가 드러났다.

조건부 생성 과제에서는 편집기들이 RGB 조건을 수용해 레이아웃을 보존하면서도 백본별로 질감과 사실성 차이를 보였다. 예를 들어 depth-to-image 과제에서 Qwen은 RMSE-255=33.83, FID=19.44, CLIPScore=30.15를 기록해 훈련된 ControlNet++ 계열 상위 모델에는 뒤처졌지만 여러 훈련된 어댑터 기반 기준선과는 경쟁 가능한 결과를 냈다. 인스턴스 맵 조건 생성에서는 일부 편집기가 InstanceDiffusion보다 높은 AP나 AR를 달성했고 FID는 전반적으로 편집기 백본이 더 우수했다.

기술 상세

전체 아키텍처는 입력 이미지와 텍스트 프롬프트를 받아 RGB 이미지를 출력하는 사전학습 이미지 편집기 ℱ를 중심으로 설계되었다. ℱ 내부는 편집기 백본이 담당하며 논문에서는 Qwen-Image-Edit(20B MMDiT), LongCat-Image-Edit(6B 하이브리드 DiT 계열), FireRed-Image-Edit(더블 스트림 멀티모달 디퓨전)을 사용해 동결된 상태로 테스트했다. 전후처리는 파라미터 없음 규칙으로 구성되어, RGB↔작업 포맷 매핑은 색상 매핑, 밝기→상대 깊이 복원, 연결성 기반 인스턴스 분리 등으로 구현되었다.

수학적·평가적 세부에서는 깊이 평가를 위해 per-image least-squares로 스케일과 시프트를 맞추는 affine-invariant 프로토콜을 적용했고, disparity-space와 linear-space 두 관행을 병행해 결과를 보고했다. 표면 법선은 컬러 코드로 법선 방향을 표현한 뒤 단위 벡터로 디코딩하고 평균·중앙각 오차를 계산했다. 세그먼트와 팬옵틱 평가는 컬러 기반 근접 매칭과 연결 컴포넌트 분할을 사용해 mIoU·mAcc·aAcc 및 PQ/SQ/RQ를 계산했다.

구현상 주목할 점은 모든 실험에서 편집기 가중치를 변경하지 않았고 샘플링 설정(denoising steps, CFG 등)은 백본 권장값을 따랐다는 점이다. 조건부 생성 평가에서는 DPT-Large를 이용해 생성 이미지로부터 깊이를 추출해 RMSE-255를 계산했고, 이미지 품질 및 텍스트 정합성은 FID와 CLIPScore로 측정해 기존 컨트롤 방법들과 일관되게 비교했다.

한계점

논문에서 명시된 주요 제한은 제로샷 성능이 편집기 백본의 사전학습 분포에 크게 의존한다는 점이다. 백본에 비자연적 신호(세그먼트, 깊이 등)가 일부 포함되어 있어 전이가 가능했지만 이러한 신호의 비중이 작아 세부적인 클래스 정합이나 인스턴스 인식에서는 전문 모델과 차이가 발생했다. 저자들은 이 격차를 좁히기 위해 RGB 형식의 비자연 데이터와 표준 이미지 편집 데이터를 혼합해 편집기를 instruction-tuning 하는 후속 작업이 필요하다고 제시했다.

실무 활용

RINO 접근은 기존에 구축된 이미지 편집기 백본을 재활용해 다양한 비전 작업을 빠르게 프로토타이핑하거나 멀티태스크 파이프라인을 단순화하는 데 실용적이다. 코드와 모델 가중치가 공개되어 있어 연구자와 엔지니어가 제로샷 성능을 재현하고 도메인별 미세조정을 통해 성능을 개선할 수 있다. 특히 작업별 어댑터를 새로 설계하기 어려운 상황에서 빠르게 기능 검증을 수행하는 용도로 적합하다.

다중 이해·생성 태스크를 단일 서비스로 통합해 운영 오버헤드를 줄이는 프로토타이핑 파이프라인 구축
작업별 전문 모델이 없는 신규 도메인에서 RGB 변환기를 이용한 초기 제로샷 성능 평가
이미지 편집기 백본을 활용한 인간-중심 인터랙션 도구에서 입력·출력 표준화로 사용자 프롬프트와 시각적 피드백 일원화
조건부 생성 태스크에서 어댑터를 학습하기 전에 편집기 백본의 질감·레이아웃 성능을 탐색하는 벤치마크

코드 공개 여부: 공개

코드 저장소 보기

키워드

RINO(RGB In and RGB Out)RGB 인터페이스(RGB Interface)이미지 편집기 백본(Image Editor Backbone)제로샷 전이(Zero-shot Transfer)무파라미터 변환기(Parameter-free Converter)

용어 해설

RGB 인터페이스(RGB Interface): — 모든 시각적 입력과 출력을 RGB 이미지로 표현하여 단일 이미지 인코더·디코더로 처리하는 표준화 방식이다. 이 방식은 분할(mask), 깊이(depth), 포즈(pose) 같은 서로 다른 형식의 시각 정보를 색상값으로 인코딩하거나 디코딩하는 규칙화된 변환기를 통해 구현된다. RGB 인터페이스는 작업별 인코더·어댑터 없이 하나의 편집기 백본으로 다양한 이해·생성 과제를 처리할 수 있게 해준다는 점에서 중요하다.
RINO: — RGB In and RGB Out의 약어로, 모든 비자연 이미지 신호를 RGB로 변환해 입력과 출력을 통일하는 비전 패러다임이다. RINO는 기존의 작업별 헤드나 어댑터를 추가하지 않고, 사전학습된 이미지 편집 모델을 그대로 사용해 제로샷으로 다수의 작업을 수행하도록 설계되었다. 본 논문에서는 RINO-Zero로 불리는 미세조정 없는 형태를 중심으로 25개 과제에서 성능을 평가했다.
아핀 불변 평가(Affine-Invariant Evaluation): — 생성 모델이 산출한 상대적 깊이값은 스케일과 오프셋이 불명확하므로, 각 이미지에 대해 최적의 스케일과 시프트를 최소제곱으로 맞춘 뒤 표준 지표를 계산하는 평가 프로토콜이다. 이 절차는 생성 편집기가 내놓는 상대 깊이를 측정 가능한 비교값으로 정렬해 δ1이나 AbsRel 같은 메트릭을 계산할 수 있게 해준다. 논문에서는 미다스 계열 평가 관습과 MultiGen/TencentBanana 관행을 병행했다.
무파라미터 변환기(Parameter-free Converter): — RGB로 표현된 결과를 작업별 표준 포맷(예: 색상-클래스 매핑, 밝기→깊이)으로 다시 변환하는 규칙 기반 모듈이다. 이 변환기는 모델 내부에 추가 학습 가능한 파라미터를 삽입하지 않고 전후처리로만 작동해 실험에서 '제로샷' 성격을 유지하게 만든다. RINO의 핵심은 이러한 변환기를 통해 편집기 출력과 평가 파이프라인을 연결하는 점에 있다.
이미지 편집기 백본(Image Editor Backbone): — 텍스트·이미지 조건을 받아 RGB 이미지를 생성·편집하는 대형 사전학습 모델을 의미한다. 본 논문에서는 Qwen-Image-Edit(20B MMDiT), LongCat-Image-Edit(6B 하이브리드), FireRed-Image-Edit(더블 스트림 멀티모달 디퓨전)을 검증 대상으로 사용했다. 백본은 동결된 상태로 입력·출력의 RGB 통일만으로 다양한 과제를 처리하는 능력을 평가하는 실험의 핵심 요소이다.

RINO: RGB 입력·출력 통합 인터페이스로 시각 과제들을 하나의 이미지 편집기로 처리하는 연구

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

편집 개념 확장과 밀집 감독으로 이미지 편집 성능 높이기

완전 공개 학습 레시피로 구축한 LLaDA-Image

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

편집 개념 확장과 밀집 감독으로 이미지 편집 성능 높이기

완전 공개 학습 레시피로 구축한 LLaDA-Image