가려진 실내 장면을 편집 가능한 3D 객체로 복원하는 Lucida

왜 중요한가

기존 실내 장면 복원 방식은 정확한 객체 형상, 가려지지 않은 시점, 관측과 일치하는 Asset을 초기 입력으로 요구해 clutter와 noisy depth에 취약했습니다. Lucida는 초기 단계에서 완벽한 복원을 요구하지 않고 다중 시점 증거를 축적한 뒤, VLM 정책 GizmoAct가 생성된 Asset의 9-DoF 자세를 Point Cloud에 맞춰 폐루프로 보정합니다. 그 결과 장면 F-Score가 SAM 3D의 0.794에서 0.924로 높아져 로봇 시뮬레이션과 편집 가능한 real-to-sim 장면 구축에 필요한 객체 단위 결과를 얻습니다.

관련 Figure

Diagram
왼쪽에는 여러 실내 영상과 객체별 3D Box 증거가 있고, 오른쪽에는 개별 객체가 배치된 편집 가능한 실내 장면이 있습니다. 삽입 그림은 Asset의 회전·이동·스케일을 관측 기하에 맞추는 폐루프 보정을 나타내며, 논문의 parse–generate–place 구조와 GizmoAct의 역할을 연결합니다.
다중 시점 실내 관측에서 객체별 증거를 만들고 완전한 3D Asset을 생성한 뒤 장면에 재배치하는 Lucida의 전체 개념도입니다.

핵심 기여

객체별 다중 시점 증거를 담은 Scene Graph

geometry-aware keyframe에서 객체 후보를 찾고 전체 영상의 관측을 객체 중심으로 통합합니다. 각 노드에 RGB 관측, 마스크 또는 Box, 부분 Point Cloud, 대표 3D Box, 참조 문구를 저장해 이후 생성과 배치가 동일한 근거를 공유합니다.

증거에서 완전한 3D Asset으로의 생성

가려진 표면을 직접 불완전한 Point Cloud에서 채우지 않고, 서로 보완적인 여러 RGB 시점을 선택해 완전한 객체 중심 이미지를 합성합니다. 이후 Image-to-3D 모델이 합성 이미지를 독립적인 3D Asset으로 변환합니다.

GizmoAct 기반 폐루프 9-DoF 배치

GizmoAct는 Asset, 3D Box, 객체 로컬 좌표계 Gizmo, Point Cloud가 포함된 GUI 관측을 읽고 회전·이동·비등방성 스케일 수정 또는 stop을 한 번에 하나씩 출력합니다. 다음 턴에는 수정 결과를 다시 렌더링해 잔여 오차를 보정합니다.

합성 궤적 SFT와 온라인 RL 학습

합성 전문가 궤적으로 VLM을 Supervised Fine-tuning한 뒤, 오류를 주입한 복구 사례와 실제 추론 환경의 온라인 rollout을 사용해 GRPO 기반 RL을 수행합니다. 이 학습 구성은 Asset 형상과 관측이 다르거나 초기 자세 오차가 큰 경우에도 수정 순서와 종료 시점을 조정하게 합니다.

핵심 아이디어 이해하기

일반적인 3D 장면 복원은 영상에서 객체를 분리하고, 객체 모델을 만들고, 모델을 원래 위치에 놓는 순서로 처리합니다. 하지만 가려진 객체의 경계와 깊이는 불확실하고, 한 시점의 이미지나 부분 Point Cloud만으로는 완전한 모델을 만들기 어렵습니다. 앞 단계가 틀리면 뒤 단계가 그 오차를 그대로 물려받는 구조입니다.

Lucida는 이 순서를 유지하되 각 단계의 입력 요구를 낮춥니다. 먼저 여러 프레임에서 같은 객체에 해당하는 이미지와 기하 정보를 묶어 대략적인 객체 후보와 대표 Box를 만듭니다. 이 증거 묶음은 어느 한 시점에 객체가 완전히 드러나지 않아도 다른 시점의 보완 정보를 함께 제공합니다.

그 다음 여러 RGB 시점에서 보이지 않는 부분까지 포함한 객체 이미지를 합성하고, 이를 3D Asset으로 변환합니다. 생성된 Asset이 실제 관측과 정확히 같지 않아도 마지막 단계에서 보정할 여지가 남습니다.

GizmoAct는 현재 Asset과 Point Cloud의 정렬 상태를 렌더링으로 읽고, 로컬 Gizmo 기준의 작은 수정 명령을 반복합니다. 큰 회전 오차에는 여섯 방향의 직교 관측과 24개 축 정렬 순열 중 하나를 사용하고, 남은 회전·이동·스케일 오차는 update_pose로 줄입니다. 정렬이 충분해지면 정책이 stop을 출력하므로 고정된 반복 횟수만으로 종료하지 않습니다.

관련 Figure

Diagram
첫 회전 수정은 flawed state를 만들지만, 정책은 새 렌더링을 읽고 translate와 scale 명령으로 상태를 회복합니다. 마지막 stop은 고정된 반복 횟수가 아니라 현재 정렬 상태에 대한 정책 판단으로 종료한다는 점을 나타냅니다.
GizmoAct가 잘못된 회전 명령 이후에도 이동과 스케일을 순차적으로 보정하고 stop을 선택하는 상호작용 궤적입니다.

방법론

Lucida의 입력은 카메라 자세가 주어진 RGB 또는 RGB-D 관측입니다. 각 프레임은 RGB 이미지, 깊이 맵, 카메라 내부 행렬, 카메라 자세로 구성됩니다. 먼저 인접 프레임의 공가시성과 시간 간격을 이용해 중복이 적은 keyframe을 선택하고, VLM과 3D detector로 객체 후보와 3D Box를 얻습니다. 의미적 일치와 공통 3D 좌표계의 기하 일치로 여러 프레임의 관측을 같은 객체에 연결합니다.

keyframe만으로 관측이 부족하면 대표 3D Box를 기준으로 전체 영상에서 추가 프레임을 찾습니다. 필요한 경우 video segmentation과 tracking으로 객체를 주변 프레임에 전파하고, 각 관측을 대표 Box와 실제 기하에 대조해 일치하는 정보만 유지합니다. 객체 간 외관과 기하를 다시 비교해 잘못 합쳐진 객체와 분리된 객체를 교정하며, 지지 객체가 빠진 경우 추가 시점에서 이를 찾아 Scene Graph에 넣습니다.

각 객체의 evidence bundle에서 가시성이 높고 대표 Box와 기하적으로 일치하며 시점과 가림 정도가 서로 다른 RGB 관측을 고릅니다. Set-of-Mark prompting으로 각 시점의 목표 객체를 표시하고, VLM이 anchor·reference 구조와 편집 지시를 구성합니다. Image-editing 모델은 이 입력으로 가려지지 않은 객체 이미지를 만든 뒤, Image-to-3D 모델이 이를 3D Asset으로 변환합니다.

배치 단계에서 GizmoAct는 원래 RGB 이미지, Point Cloud, Asset overlay, 3D Box, 로컬 축 Gizmo, 보조 시점, 직교 시점을 함께 읽습니다. 정책은 절대 좌표 대신 현재 Gizmo 좌표계의 증분 회전·이동·스케일을 출력하므로 현재 객체 크기에 상대적인 수정이 가능합니다. 초기 회전 오차가 크면 switch_obs로 여섯 signed-axis 관측을 불러오고 permute_axis로 24개 축 정렬 중 하나를 선택한 뒤, update_pose로 잔여 오차를 줄입니다.

학습에서는 무작위로 교란한 초기 자세와 생성 Asset을 사용해 전문가 궤적을 만들고, 잘못된 회전·이동·스케일 명령을 삽입한 뒤 그 상태에서의 복구 행동을 학습합니다. 이후 GRPO 기반 RL은 최종 generalized 3D IoU와 회전 오차를 기준으로 보상하며, K=8개 rollout 그룹을 temperature 0.7로 생성합니다. 한 반복은 최소 40개 prompt와 320개 trajectory를 수집하고 두 epoch 동안 최적화합니다.

관련 Figure

Diagram
파이프라인은 Input Images에서 Key Frames를 거쳐 object-centric scene parsing으로 이어집니다. 선택된 reference images와 instance evidence가 amodal image와 3D Asset으로 변환되고, 이후 GizmoAct placement가 회전·이동·스케일을 조정해 최종 Scene Composition을 만듭니다.
입력 영상과 keyframe에서 객체 중심 증거를 구성하고, 완전한 3D Asset 생성과 GizmoAct 배치로 장면을 합성하는 처리 파이프라인입니다.

주요 결과

장면 수준 3D 객체 검출에서 Lucida의 mAP는 CA-1M의 all 프로토콜에서 0.180으로 Boxer의 0.171보다 높았고, R2S-Scene의 all 프로토콜에서는 0.351에서 0.592로 증가했습니다. keyframe prompt만 사용했음에도 전체 영상의 객체별 증거 통합과 기하 검증을 수행해 Boxer의 all-frame 설정을 앞섰습니다.

객체 자세 추정에서 최대 4개 시점을 받은 GizmoAct는 R2S-Object의 ADD-SB를 0.038에서 0.017로 낮추고 [email protected]를 79.2%에서 92.0%로, 3D IoU를 0.500에서 0.719로 높였습니다. CA-1M에서는 [email protected]가 57.8%에서 83.4%로, 3D IoU가 0.434에서 0.607로 개선됐습니다. ADT에서는 최대 4개 시점 설정이 [email protected] 90.0%와 3D IoU 0.670을 기록했습니다.

전체 장면 복원에서 장면 CD는 SAM 3D의 0.022에서 0.010으로 감소했고, Scene F-Score는 0.794에서 0.924로 높아졌습니다. BBox IoU는 0.396에서 0.495로 개선됐으며, 객체별 정규화 CD는 0.038에서 0.034로, Object F-Score는 0.704에서 0.736으로 증가했습니다.

구성요소 제거 실험에서 uniform keyframe sampling은 mAP를 0.597에서 0.516으로, Scene F-Score를 0.831에서 0.727로 낮춰 가장 큰 하락을 만들었습니다. 객체 중심 전체 시퀀스 증거 통합을 제거하면 mAP가 0.535, Scene F-Score가 0.734가 됐고, 관계 인식 장면 보정을 제거하면 각각 0.526과 0.794가 됐습니다. 어려운 비대칭 객체 110개에서 RL은 회전 오차를 SFT의 45.19도에서 20.98도로 낮추고 5도 이내 비율을 52.7%에서 67.3%로 높였습니다.

관련 Figure

Screenshot
각 행은 장면의 3D 구성 결과와 여러 카메라 시점의 실제 프레임 및 재구성 렌더링을 함께 배치합니다. 서로 다른 방 크기와 프레임 수에서도 가구와 소품이 개별 Asset으로 유지되며, 동일 시점 렌더링을 통해 장면 배치와 외관의 일치 정도를 확인하게 합니다.
Office와 Studio 실내 캡처에서 카메라 궤적, 원본 프레임, Lucida가 구성한 객체 중심 3D 장면을 비교한 갤러리입니다.

Diagram
각 행은 입력 이미지와 대상 객체를 기준으로 여러 방법의 posed 3D model을 정답 모델과 겹쳐 렌더링하고, 측면·상면에 가까운 축 정렬 시점도 제공합니다. Lucida 열은 의자, 오븐, 욕조, 안락의자 등에서 생성 형상과 관측 객체의 겹침이 더 일관된 결과로 배치되어 정량적 ADD-SB와 3D IoU 비교를 보완합니다.
CA-1M, R2S-Object, ADT의 객체에 대해 Any6D, SAM 3D, RecGen, Lucida의 자세 결과를 정답 형상과 비교한 시각적 평가입니다.

Diagram
Lucida의 Ours* 결과는 주 시점뿐 아니라 측면과 상면에서도 가구와 벽면 요소의 상대 배치를 유지하며, SceneGen과 SAM3D의 위치·회전·겹침 오차와 대비됩니다. 여러 시점 렌더링은 기준 이미지에서 가려지는 배치 오류까지 평가해 Scene F-Score와 BBox IoU의 장면 수준 차이를 시각적으로 뒷받침합니다.
Studio 실내 장면에서 Scanned View, Masked Scene, SceneGen, SAM3D, Lucida 결과를 주·측·상면 시점으로 비교한 장면 복원 평가입니다.

기술 상세

Scene Graph의 각 객체 노드는 다중 시점 관측, 연관 마스크 또는 Box, 부분 Point Cloud, 대표 3D Box, 참조 문구를 보유합니다. 입력 프레임의 RGB·depth·camera intrinsics·camera pose를 공통 3D 좌표계로 올린 뒤, 공가시성과 시간 가중치로 keyframe을 고르고 객체별 일치성을 이용해 관측을 묶습니다. 이후 대표 Box를 전체 시퀀스에 투영해 추가 관측을 수집하고, Box와 Point Cloud에 대한 기하 검증으로 evidence bundle을 정제합니다.

GizmoAct가 조정하는 상태는 위치 3개, 회전 3개, 축별 스케일 3개인 9-DoF입니다. 회전은 ZXY Euler-angle 증분으로 먼저 적용하고, 이동 증분은 갱신된 로컬 회전 좌표계에서 계산하며, 스케일 증분은 현재 객체 크기에 대한 상대값으로 적용합니다. 따라서 정책은 절대 metric pose나 절대 크기를 한 번에 예측하지 않고, 현재 렌더링에서 읽은 잔여 오차만 명령합니다.

큰 회전 오차에는 switch_obs가 객체 상태를 바꾸지 않고 signed local axes 방향의 여섯 직교 관측을 생성합니다. 이어 permute_axis가 목표 x축과 z축에 대응하는 서로 직교하는 signed source axis를 선택하며, 가능한 6×4 조합이 24개 axis-aligned reorientation을 포함합니다. 이 한 번의 조정으로 주요 회전 오차를 제거하고, 남은 회전은 update_pose로 보정합니다.

정책의 한 턴은 렌더링, 단일 XML-style action 출력, 상태 갱신의 순서입니다. 렌더링에는 원본 시점, 보조 시점, 현재 객체 모델, 3D Box, 로컬 Gizmo, Point Cloud 뒤에 가려진 모델 표면을 표시하는 반투명 초록색 cue가 포함됩니다. 직교 시점은 단일 시점에서 분리하기 어려운 깊이와 크기 정보를 보완하고, 현재 로컬 축을 기준으로 미세 조정을 돕습니다.

SFT는 합성 전문가가 목표 자세와 현재 자세의 회전·이동·로그 스케일 잔여량을 비교해 생성한 궤적을 사용합니다. 잘못된 명령은 학습 손실에서 제외하고 그 명령 이후의 복구 행동을 정답으로 남깁니다. RL은 최종 generalized 3D IoU를 0.75, 0.85, 0.925 경계로, 회전 오차를 30도, 10도, 5도 경계로 양자화해 두 축이 모두 success 구간에 들어온 rollout에만 기본 보상을 부여합니다. 이 구조는 위치와 크기만 맞고 회전이 남은 상태에서 조기 종료하는 정책을 억제합니다.

관련 Figure

Diagram
주 시점에는 raw image와 현재 Asset의 gizmo overlay, Point Cloud가 나란히 배치되어 객체 정렬 상태를 확인할 수 있습니다. auxiliary view와 ortho X·Y·Z view는 가려진 면과 로컬 축 방향을 보완해 단일 시점에서 모호한 자세·깊이·스케일 판단을 지원합니다.
GizmoAct가 원본 이미지, Asset overlay, 3D Box, Point Cloud, 보조 시점과 직교 시점을 함께 읽는 GUI 관측 인터페이스입니다.

Diagram
각 데이터셋에서 정책은 초기 관측과 직교 관측을 번갈아 사용하며 P(axis permutation), R(rotation), T(translation), S(scale) 명령을 선택합니다. 초기화 방식이 달라도 여러 턴의 상태 재렌더링을 통해 잔여 오차를 줄이며, 한 정책이 서로 다른 초기 오차 분포를 처리하는 과정을 확인할 수 있습니다.
Boxer, Any6D*, SAM 3D 초기 자세에서 출발한 GizmoAct의 폐루프 회전·이동·스케일 보정 궤적입니다.

한계점

Scene parsing 이후에도 누락된 객체는 후속 Asset 생성이나 GizmoAct 배치 단계에서 복구되지 않습니다. 또한 현재 폐루프 agentic refinement는 최종 배치 단계에만 적용되며, parse–generate–place 전체 단계로 확장하는 일은 후속 과제로 남아 있습니다.

실무 활용

Lucida는 실내 RGB 또는 RGB-D 영상에서 각 객체를 독립적으로 편집 가능한 3D Asset으로 만들고 원래 장면 배치까지 복원합니다. 객체별 Asset과 9-DoF 자세가 Scene Graph에 남으므로 로봇 시뮬레이션, embodied AI, AR/VR, 3D 콘텐츠 편집의 입력으로 활용할 수 있습니다.

실내 촬영 영상을 객체별로 분리한 로봇 시뮬레이션 환경 구축
가구와 소품을 개별적으로 이동·교체할 수 있는 AR/VR 장면 편집
실제 공간의 객체 배치와 형상을 보존하는 real-to-sim 데이터 제작
다중 시점 실내 캡처에서 가려진 객체를 포함한 composable 3D scene 복원

코드 공개 여부: 미확인

키워드

Lucida(편집 가능한 composable 3D scene modeling)GizmoAct(VLM 기반 9-DoF 객체 배치)Scene Graph(객체별 다중 시점 증거)Amodal Completion(가려진 객체 형상 완성)Real-to-Sim(실내 장면의 시뮬레이션 변환)ADD-SB(표면 정렬 지표)Scene F-Score(장면 복원 지표)

용어 해설

Scene Graph: — 객체를 노드로, 객체 사이의 지지·포함·인접 관계를 엣지로 저장하는 구조입니다. Lucida에서는 각 노드에 여러 시점의 이미지·마스크·부분 Point Cloud·대표 3D Box·참조 문구를 묶어 이후 3D Asset 생성과 배치의 입력으로 사용합니다.
Amodal Completion: — 가려진 부분까지 포함해 관측 대상의 완전한 형태와 외관을 복원하는 과정입니다. Lucida는 여러 시점의 RGB 관측을 선택해 가려지지 않은 객체 중심 이미지를 만든 뒤, 이를 Image-to-3D 모델에 입력해 독립적인 3D Asset으로 변환합니다.
9-DoF 자세(9-DoF Pose): — 3차원 위치 3개, 회전 3개, 축별 크기 3개를 합친 객체 상태 표현입니다. Lucida의 GizmoAct는 생성된 Asset을 Point Cloud에 맞추면서 회전·이동·비등방성 스케일을 순차적으로 갱신해 총 9개 자유도를 조정합니다.
ADD-SB: — 예측된 자세의 표면과 정답 자세의 표면 사이 양방향 평균 최근접 거리를 미터 단위로 측정하는 지표입니다. [email protected]는 이 거리가 정답 객체 지름의 5%보다 작은 예측 비율로, 엄격한 표면 정렬 성공률을 나타냅니다.
F-Score: — 예측 표면과 정답 표면 사이의 정밀도와 재현율을 하나의 값으로 결합한 평가 지표입니다. 이 논문은 장면 수준에서 0.1m 거리 임계값을 사용해 누락되거나 잘못 배치된 표면이 얼마나 적은지 측정합니다.
GizmoAct: — VLM이 3D 편집기의 객체 조작 인터페이스를 읽고 한 번에 하나의 실행 가능한 수정 명령을 내리는 정책입니다. 현재 렌더링 결과를 다시 입력으로 받아 회전·이동·스케일을 반복 수정하며, 정렬이 충분하면 stop을 스스로 선택합니다.

가려진 실내 장면을 편집 가능한 3D 객체로 복원하는 Lucida

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

합성 데이터만으로 실제 객체를 탐지한 실험

멀티모달 에이전트의 3D 오픈 월드 구성

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

합성 데이터만으로 실제 객체를 탐지한 실험

멀티모달 에이전트의 3D 오픈 월드 구성