TL;DR

See-through는 SIGGRAPH 2026 Conference Paper에 기반한 연구용 Python standalone tool로, 한 장의 anime illustration을 최대 23개의 의미별 투명 레이어와 추정된 깊이 순서를 가진 2.5D PSD로 변환합니다. 메인 파이프라인은 LayerDiff 3D로 가려진 영역을 포함한 레이어를 생성하고 fine-tuned Marigold로 pseudo-depth를 계산한 뒤 PSD, depth map, segmentation mask를 출력합니다. 1280 해상도에서 기본 실행에는 약 12~16GB VRAM이 필요하지만 group offload, NF4 quantization, block swap으로 8GB급 GPU 경로도 마련되어 있습니다. Live2D용 수작업 분할을 줄이는 전처리 도구로는 유용하지만 rigging과 physics 설정까지 자동화하지 않으므로 완성된 Live2D 모델 생성기로 쓰기에는 범위가 부족합니다.

핵심 포인트

• 연구용 Python standalone tool이자 anime character 2.5D layer decomposition framework으로, 단일 이미지를 의미별 PSD 레이어로 변환합니다. LayerDiff 3D가 투명 레이어를 생성하고 fine-tuned Marigold가 pseudo-depth를 추정한 뒤 최대 23개 신체 부위 레이어로 구성합니다. 수작업 segmentation과 가려진 영역 inpainting을 줄여 Live2D 제작 전처리나 2D 캐릭터 애니메이션의 시작점으로 적합합니다.
• 기본 추론은 CUDA 12.8 기반 PyTorch와 Python 3.12 환경에서 실행되며, 1280 해상도에서 약 12~16GB VRAM이 필요합니다. `--group_offload`는 12GB GPU에서 피크 VRAM을 약 10GB로 낮추고, NF4 quantization과 block swap은 8GB GPU 실행 경로를 제공합니다. group offload는 VRAM을 줄이는 대신 대략 1.5배 느려지고, NF4 결과는 bf16 기준 PSNR 약 30dB와 SSIM 약 0.96입니다.
• `inference_psd.py`가 단일 이미지 또는 디렉터리를 받아 PSD와 depth map, segmentation mask를 `workspace/layerdiff_output/`에 저장합니다. 이후 `heuristic_partseg.py`로 특정 태그를 depth 기준 또는 좌우 기준으로 추가 분할할 수 있습니다. ComfyUI-See-through, StretchyStudio, Anime2.5DRig 같은 외부 도구와 연결할 수 있지만, Live2D rigging과 deformation mesh, physics parameter, motion curve는 제공하지 않습니다.

벤치마크

이미지 분석