TL;DR

Krea-2 Depth ControlNet-LoRA는 Krea-2 기반의 단일 LoRA 체크포인트로 입력 이미지에서 Depth-Anything-V2-Large로 역깊이 맵을 추출하고 이를 Qwen-Image VAE로 잠재에 인코딩한 뒤 노이즈 잠재에 채널 단위로 결합하여 동일한 3D 구조를 유지하면서 스타일과 내용을 바꾸는 이미지-투-이미지 파이프라인이다. LoRA는 rank=64와 expanded input projection을 포함해 28개 블록에 적용되며 기반 모델은 동결되어 있으며 배포 파일 크기는 862MB이다. README는 빈 프롬프트에서의 Pearson 상관계수 0.98, 프롬프트 포함 시 0.99를 제시하여 깊이 일관성이 높음을 수치로 뒷받침하고 Turbo(8스텝)와 Raw(28–52스텝) 모드를 통해 속도와 품질의 트레이드오프를 제공한다고 밝힌다. 단점으로 실사적 원근이 부족한 평면적 2D 입력에서는 깊이 추출이 균일해 제어 효과가 약해질 수 있으며 출력 해상도는 Krea-2-Raw 기준 약 1K로 제한된다.

핵심 역량

• 이 모델은 입력 사진이나 렌더에서 Depth-Anything-V2로 역깊이 맵을 추출한 뒤 그 깊이 신호를 Qwen-Image VAE로 인코딩하여 이미지 잠재와 채널 단위로 결합함으로써 원본의 3D 구조를 강하게 유지한 상태에서 스타일·내용 변경을 수행할 수 있다. 깊이만으로 생성하는 빈 프롬프트 모드에서 높은 깊이 일관성(상세 수치가 README에 명시됨)을 보이며, 프롬프트를 추가하면 구조 유지와 스타일 반영이 동시에 이루어진다. lora-scale 파라미터로 제어 강도를 조절하여 창의성(제약 완화)과 구조 보존(제약 강화) 사이의 균형을 바꿀 수 있다.
• 이 파이프라인은 Krea-2-Turbo와 Krea-2-Raw 두 가지 기반과 호환되어 Turbo 모드에서는 적은 스텝(기본 8 스텝)으로 빠른 추론을 수행하고 Raw 모드에서는 더 많은 스텝과 CFG로 품질을 추구하는 워크플로를 제공한다. README가 권장하는 기본 설정과 스텝/CFG 값이 제공되어 즉시 재현 가능한 추론 파이프라인을 구성할 수 있다. 또한 체크포인트가 LoRA 형태이므로 기반 모델을 유지한 채로 경량하게 제어 기능을 추가할 수 있다.
• 출력 저장 옵션으로 입력·깊이·출력 비교 이미지를 스트립 형태로 저장하는 기능을 제공하여 제어 신호(깊이)가 실제 생성 결과에 어떻게 반영되는지 시각적으로 검증할 수 있다. 파라미터로 시드·스텝·cfg·mu·lora-scale 등을 조정할 수 있어 재현성 있는 실험과 품질-속도 트레이드오프 평가가 가능하다. README의 샘플 코드와 CLI 옵션이 그대로 동작하도록 파이프라인 및 inference.py가 포함되어 있다.

강점

• 깊이 보존 성능을 수치로 제시하여 읽기 쉬운 근거를 제공한다; 빈 프롬프트에서의 Pearson 상관계수 0.98과 프롬프트 포함 시 0.99는 깊이 신호가 생성 결과의 3D 구조를 매우 강하게 유지함을 나타낸다. 이 수치는 모델의 핵심 목적(깊이 일관성 유지)에 대한 직접적인 평가 지표로 작동하며, 빈 프롬프트 모드로 제어 신호의 순수 효과를 확인할 수 있게 설계되었다. 작은 LoRA 파일(862MB)과 기반 모델 동결 접근은 운영 측면에서 경량성과 재현성을 동시에 제공한다.
• 잠재 공간에서 깊이 맵을 인코딩하여 이미지 잠재와 채널 단위로 결합하는 설계는 픽셀 공간에서 직접 결합할 때보다 더 안정적인 제어를 가능하게 한다. README는 Qwen-Image VAE를 사용해 깊이를 잠재로 변환한 뒤 DiT 토큰 차원을 64에서 128로 확장해 채널 연결을 수행한다고 명시하여 제어가 생성 과정 전반에 고르게 스며들도록 설계되었음을 보여준다. 이 접근은 깊이 조건이 노이즈 단계마다 직접적으로 영향을 미치므로 구조 일관성 확보에 유리하다.

훈련 방식

기본적으로 Krea/Krea-2-Raw를 기반으로 LoRA 방식으로 파인튜닝했고 rank-64와 expanded input projection을 포함한 LoRA만 학습하여 기반 모델은 동결한 뒤 동작하도록 구성되었다. README는 학습 데이터·세부 옵티마이저 값을 제공하지 않으나 체크포인트가 Krea-2-Raw 위에서 훈련됐음을 명시하고 있어 기반 분포과의 호환성을 유지한다. 이 방식은 모델 가중치를 변경하지 않고 제어 능력을 추가함으로써 배포·재사용의 유연성을 높였다.

알아두면 좋은 것

• 체크포인트는 단일 862MB 크기의 safetensors 파일(depth-control-lora.safetensors)로 제공되며 rank=64와 expanded input projection을 포함하고 기반 모델 가중치는 동결된 채 LoRA만 적용된다. 이 때문에 모델 파일이 상대적으로 작고 배치 설치가 용이하며, 기반 Krea-2 체크포인트를 별도로 로드해야 한다는 운영상의 요구가 있다. 라이선스는 Krea 2 community license로 명시되어 있어 사용 전에 해당 라이선스 조건을 확인해야 한다.
• 깊이 일관성 지표로 입력 깊이와 생성 이미지의 깊이 간 Pearson 상관계수를 README에 명시했으며, 프롬프트가 없을 때 0.98, 프롬프트를 넣었을 때 0.99의 값이 보고되어 깊이 제어 신호가 강하게 유지됨이 수치로 드러난다. 이 수치는 depth-only 제어가 실제로 뚜렷한 구조 보존을 달성한다는 근거로 제시되어 있으며, 빈 프롬프트 모드를 통해 제어 신호의 순수한 영향력을 평가할 수 있다. 다만 이 수치는 README의 특정 실험 설정 하에서 산출된 값이며 재현을 위해 동일한 추론 파라미터와 입력 분포가 필요하다.
• 파이프라인은 Depth-Anything-V2-Large로 역깊이 맵을 추출하고 Qwen-Image VAE로 깊이 맵을 인코딩한 뒤 각 디노이징 스텝에서 깊이 잠재를 채널 단위로 결합하는 구조를 사용한다. LoRA는 28개 블록에 적용되어 모든 블록의 입력 프로젝션을 확장한 상태로 제어를 주입하며, 표준 Krea-2의 flow-matching Euler 샘플러를 그대로 사용한다. 이 구성은 깊이 조건을 잠재 수준에서 안정적으로 주입하면서 기존 샘플링 파이프라인과의 호환성을 유지한다.
• 제한사항으로 실사적 원근이 없는 평면적 2D 일러스트에서는 깊이 맵이 거의 균일하게 추출되어 제어 효과가 약해진다는 경고가 명시되어 있다. 출력 해상도는 Krea-2-Raw의 경우 최대 약 1K로 제한되며 Turbo 모드는 8스텝, CFG 0 설정을 권장하여 속도와 품질의 서로 다른 균형을 제공한다. README는 또한 lora-scale이 1.0 미만이면 구조 일치도가 약해지고 1.0 초과 시 품질 저하가 발생할 수 있다고 명시하여 실험적 튜닝 지침을 제공한다.

기술적 특징

• Depth-Anything-V2-Large로 입력 이미지를 처리하여 역깊이(inverse depth) 맵을 추출한 뒤 그 맵을 Qwen-Image VAE로 인코딩해 잠재 공간에서 제어 신호로 사용한다. 이 과정은 깊이 정보를 픽셀 공간이 아닌 잠재 표현으로 바꾸어 생성 과정에서 보다 안정적인 영향력을 보장한다. 잠재 수준 주입은 깊이와 스타일 신호 간 간섭을 줄여 구조 보존과 시각적 변형을 동시에 달성한다.
• 모든 디노이징 스텝에서 깊이 잠재를 노이즈 잠재에 채널 단위로 연결하는 방식으로 제어를 주입하며, DiT의 각 토큰 차원이 64에서 128로 확장된다는 구조적 설명이 README에 포함되어 있다. 이 채널-병합 설계는 각 DiT 토큰이 깊이 정보를 직접 수용하도록 만들어 세부 구조 일관성을 강화한다. 확장된 입력 프로젝션과 LoRA의 결합으로 제어 신호가 모델 내부 흐름 전반에 걸쳐 지속적으로 반영된다.
• 체크포인트는 rank-64 LoRA와 expanded input projection을 포함하는 단일 safetensors 파일 형태로 배포되며 기반 모델은 동결된 상태로 유지된다. LoRA는 28개 블록 전체에 적용되어 모델의 광범위한 층에 제어 영향력을 전달하고, 파일 크기가 862MB로 비교적 작아 배포·적용이 용이하다. 이 설계는 기반 가중치를 보존하면서 특정 제어 목적을 빠르게 실험·적용할 수 있도록 한다.
• 샘플링은 Krea-2의 flow-matching 기반 Euler 샘플러를 사용하여 Turbo와 Raw 두 모드 간의 스텝/CFG 설정 차이를 지원한다. Turbo 모드는 8 스텝과 CFG 0으로 빠른 추론을 목표로 하고, Raw 모드는 28~52 스텝과 CFG 3.5로 품질 중심의 설정을 제공한다. 이로 인해 사용자는 속도와 품질 사이에서 명확한 트레이드오프를 조정할 수 있다.

차별점

• 깊이 맵을 Qwen-Image VAE로 인코딩한 뒤 잠재에서 채널 단위로 결합하는 설계는 깊이 조건을 잠재 수준에서 통합하는 방식을 택한 점에서 차별화된다. 이 방식은 픽셀 단위의 조건 주입보다 노이즈 단계 전반에서 구조 보존을 안정적으로 달성하는 데 유리하며 README가 이 파이프라인을 상세히 기술하고 있다. 따라서 깊이 기반 구조 제어를 강하게 보장하면서도 스타일 변화의 자유도를 유지할 수 있다.
• LoRA만으로 제어 능력을 추가하는 배포 전략은 기반 모델 가중치를 변경하지 않고도 기능을 확장하도록 설계되어 실무적 유연성을 제공한다. 단일 862MB LoRA 파일로 전체 제어 기능을 제공하면서도 Krea-2의 Turbo/Raw 양쪽과 호환되도록 구성된 점이 실무 배포에서의 장점으로 제시된다. 이로 인해 다양한 기반 체크포인트에 빠르게 적용해 실험을 반복할 수 있다.
• 깊이 일관성을 명시적 수치로 보고한 점이 차별화 요소로 작동한다; README는 빈 프롬프트와 프롬프트 포함 시의 Pearson 상관계수를 각각 제시하여 제어 신호의 영향력을 정량적으로 평가할 수 있게 했다. 이러한 수치 제시는 단순 시각 예시를 넘어 제어 강도의 객관적 비교를 가능하게 하여 모델 선택과 튜닝에 실질적 정보를 제공한다.

벤치마크

이미지 분석