Arbor: 텍스트·이미지 조건화 잠재 3D 생성용 제약 메쉬 인터페이스

텍스트·이미지 조건화 3D 모델은 설득력 있는 자산을 생성하지만 생성물이 차지하거나 회피해야 할 공간을 직접 제어하지 못한다. Arbor는 헐(hull)/회피(avoidance)/접촉(touch) 메쉬를 네이티브 3D 제어 신호로 도입해, 디자이너가 사전에 알고 있는 공간적 의도를 그대로 반영한 객체 생성을 가능하게 한다.

조건화된 3D 생성 모델은 텍스트 또는 이미지 입력을 통해 전체 객체의 외형과 스타일을 결정한다. 이러한 입력은 객체가 특정 공간을 차지해야 하거나 회피해야 한다는 구체적 공간 정보를 직접적으로 담지 못한다. 결과적으로 디자이너가 미리 알고 있는 '이 부분은 비워둘 것' 또는 '이 부분과 닿아야 함' 같은 요구를 모델이 만족시키기 어렵다.

잠재 공간(latent space)은 생성기가 객체의 전역·지역적 특징을 인코딩하는 공간이다. 이 논문은 공간적 제약을 기존의 텍스트/이미지 입력 대신 직접적인 3D 기하학 신호로 표현한다. 제약 메쉬를 '토큰'으로 변환하면 모델 입력으로서 처리 가능하다. 그러나 denoiser가 전체 잠재 표현을 점진적으로 정제하는 핵심 모듈이라면 denoiser 자체를 수정하지 않고 제약 정보를 통합하려면 denoiser 내부에 별도의 인터페이스가 필요하다.

Arbor는 denoiser를 동결(frozen)한 상태에서 'routed attachment'를 학습한다. 이 attachment는 메쉬 토큰을 받아 latent 공간의 특정 region으로 라우팅하고, 각 latent region은 자신의 공간적 위치와 관련된 제약 신호를 수신한다. [메쉬 토큰 입력] → [attachment가 토큰을 처리·라우팅] → [각 latent region에 제약 정보 추가] → [denoiser는 원래 방식대로 정제 수행]의 흐름으로 동작하므로 denoiser와 전체 생성 품질을 유지하면서 제약 준수가 가능해진다.

이 방식은 기존의 전체 스캐폴드 완성과 달리 제약을 '지역적이고 타입화된 요구사항'으로 취급한다. 그 결과 헐·회피·접촉 같은 다양한 공간 타입을 동일한 프레임워크로 표현할 수 있고, 실험에서 제약 준수 향상과 함께 객체 품질 및 다양성의 보존이 관찰됐다.

전체 접근 방식은 제약 메쉬를 3종류의 typed region(hull, avoidance, touch)으로 정의하고 이를 생성 파이프라인의 제어 신호로 통합하는 것이다. 제약 메쉬는 기하학 정보로서 토큰화되어 denoiser 내부의 trainable attachment에 입력된다. denoiser 파라미터는 고정(frozen)되어 있으며 attachment만 학습된다. 이 구조는 텍스트/이미지 조건 정보와 공간 제약 정보를 병렬로 유지하면서 생성 과정에 제약을 반영한다.

핵심 메커니즘은 메쉬 토큰의 라우팅과 latent region의 매핑이다. 메쉬 토큰은 해당 기하학의 위치·타입 정보를 포함한다. 라우팅 모듈은 이 토큰을 latent 공간 내의 여러 region에 분배하여, 각 region이 자신과 공간적으로 관련된 제약 신호를 받게 한다. [메쉬 위치·타입 입력] → [라우터가 토큰을 분배·가중합] → [각 latent region에 추가되는 조건 벡터 생성] → [denoiser가 조건 벡터를 반영하여 노이즈 정제 수행]의 연쇄로 작동한다.

학습 전략은 denoiser 동결과 attachment 학습의 조합이다. attachment는 latent denoiser가 기대하는 형태의 보정 신호를 출력하도록 gradient descent로 최적화된다. 전용의 compliance loss를 도입하지 않고도 attachment가 제약 정보를 생성 과정에 일관되게 반영하도록 데이터 기반 학습을 수행한다. 평가를 위해 자동 지표 및 아티스트 선별 데이터에서 헐/회피/접촉 제약을 적용한 실험을 수행한다.

평가 세트는 자동 측정 기준과 아티스트가 선별한 제어 벤치마크로 구성되며, 각 벤치마크는 hull, avoidance, touch 제약을 포함한다. Arbor는 이러한 벤치마크에서 제약 준수(constraint obedience)를 향상시킨다. 실험 결과의 정량적 수치는 원문에 명시된 벤치마크 표에서 확인된다.

Ablation study(있는 경우)는 routed attachment와 denoiser 동결 조합이 제약 준수와 품질 보존 사이의 균형에 기여함을 보인다. 전용 compliance loss가 없는 설정에서도 제약 준수 향상이 관찰되며, 이는 attachment가 제약 신호를 효과적으로 latent region에 전달함을 의미한다.

사용자 선호도 연구에서는 자동 지표의 추세가 사람의 선호와 일치하는 경향을 보였다. 즉, 정량적 제약 준수 향상이 실제 아티스트의 제어 만족도로 연결되는 경향이 관찰됐다.

전체 아키텍처는 텍스트·이미지 조건화 입력, 제약 메쉬 토큰화 모듈, routed attachment, 그리고 frozen latent denoiser로 구성된다. 텍스트·이미지 조건은 기존의 조건화 경로를 통해 처리되며 제약 메쉬는 별도 토큰으로 변환되어 attachment에 입력된다. attachment 출력은 latent 표현의 지역별 보정 신호로 합성되어 denoiser가 정제 과정에서 이를 반영한다.

routed attachment는 메쉬 토큰을 받아서 latent 공간의 여러 region에 분배하는 라우팅 메커니즘을 포함한다. [메쉬 토큰 입력] → [라우팅 연산: 위치·타입 기반 가중치 계산 및 분배] → [각 latent region에 전달될 condition vector 생성] → [latent representation에 추가]의 절차를 따른다. 라우팅 연산은 위치정보를 기준으로 region-토큰 매칭을 수행한다.

기술적 차별점은 제약 신호를 전체 스캐폴드가 아닌 '지역화된 typed requirement'로 처리하는 점이다. 기존 접근은 목표 형태의 증거를 제공하거나 전체 스캐폴드를 완성하는 방식이었으나, Arbor는 표면이 없어야 하는 영역을 명시할 수 있고 이 신호를 기하학적 토큰으로 보존한다. denoiser를 동결하여 주요 생성 품질 특성을 유지하면서 attachment만 학습하는 설계가 특징이다.

학습/구현 세부사항은 원문에 기술된 훈련 파이프라인과 벤치마크 설정을 따른다. denoiser 파라미터는 동결되며 attachment에 대해 gradient descent 기반 학습을 수행한다. 평가에는 자동 지표와 아티스트 선호도 연구가 포함되며, 헐·회피·접촉 타입의 제약이 각각 실험에 적용된다.