Patil/Krea-2-depth-controlnet
Krea-2 기반의 depth 제어 LoRA로 입력 깊이를 잠재 공간에 주입해 3D 구조를 높은 일관성으로 유지하면서 스타일과 콘텐츠를 변경한다.
학습 방식 · 기본적으로 Krea/Krea-2-Raw를 기반으로 LoRA 방식으로 파인튜닝했고 rank-64와 expanded input projection을 포함한 LoRA만 학습하여 기반 모델은 동결한 뒤 동작하도록 구성되었다. README는 학습 데이터·세부 옵티마이저 값을 제공하지 않으나 체크포인트가 Krea-2-Raw 위에서 훈련됐음을 명시하고 있어 기반 분포과의 호환성을 유지한다. 이 방식은 모델 가중치를 변경하지 않고 제어 능력을 추가함으로써 배포·재사용의 유연성을 높였다.
TL;DR
Krea-2 Depth ControlNet-LoRA는 Krea-2 기반의 단일 LoRA 체크포인트로 입력 이미지에서 Depth-Anything-V2-Large로 역깊이 맵을 추출하고 이를 Qwen-Image VAE로 잠재에 인코딩한 뒤 노이즈 잠재에 채널 단위로 결합하여 동일한 3D 구조를 유지하면서 스타일과 내용을 바꾸는 이미지-투-이미지 파이프라인이다. LoRA는 rank=64와 expanded input projection을 포함해 28개 블록에 적용되며 기반 모델은 동결되어 있으며 배포 파일 크기는 862MB이다. README는 빈 프롬프트에서의 Pearson 상관계수 0.98, 프롬프트 포함 시 0.99를 제시하여 깊이 일관성이 높음을 수치로 뒷받침하고 Turbo(8스텝)와 Raw(28–52스텝) 모드를 통해 속도와 품질의 트레이드오프를 제공한다고 밝힌다. 단점으로 실사적 원근이 부족한 평면적 2D 입력에서는 깊이 추출이 균일해 제어 효과가 약해질 수 있으며 출력 해상도는 Krea-2-Raw 기준 약 1K로 제한된다.
핵심 포인트
- 깊이 맵을 Qwen-Image VAE로 인코딩한 뒤 잠재에서 채널 단위로 결합하는 설계는 깊이 조건을 잠재 수준에서 통합하는 방식을 택한 점에서 차별화된다. 이 방식은 픽셀 단위의 조건 주입보다 노이즈 단계 전반에서 구조 보존을 안정적으로 달성하는 데 유리하며 README가 이 파이프라인을 상세히 기술하고 있다. 따라서 깊이 기반 구조 제어를 강하게 보장하면서도 스타일 변화의 자유도를 유지할 수 있다.
- LoRA만으로 제어 능력을 추가하는 배포 전략은 기반 모델 가중치를 변경하지 않고도 기능을 확장하도록 설계되어 실무적 유연성을 제공한다. 단일 862MB LoRA 파일로 전체 제어 기능을 제공하면서도 Krea-2의 Turbo/Raw 양쪽과 호환되도록 구성된 점이 실무 배포에서의 장점으로 제시된다. 이로 인해 다양한 기반 체크포인트에 빠르게 적용해 실험을 반복할 수 있다.
- 깊이 일관성을 명시적 수치로 보고한 점이 차별화 요소로 작동한다; README는 빈 프롬프트와 프롬프트 포함 시의 Pearson 상관계수를 각각 제시하여 제어 신호의 영향력을 정량적으로 평가할 수 있게 했다. 이러한 수치 제시는 단순 시각 예시를 넘어 제어 강도의 객관적 비교를 가능하게 하여 모델 선택과 튜닝에 실질적 정보를 제공한다.
- 깊이 보존 성능을 수치로 제시하여 읽기 쉬운 근거를 제공한다; 빈 프롬프트에서의 Pearson 상관계수 0.98과 프롬프트 포함 시 0.99는 깊이 신호가 생성 결과의 3D 구조를 매우 강하게 유지함을 나타낸다. 이 수치는 모델의 핵심 목적(깊이 일관성 유지)에 대한 직접적인 평가 지표로 작동하며, 빈 프롬프트 모드로 제어 신호의 순수 효과를 확인할 수 있게 설계되었다. 작은 LoRA 파일(862MB)과 기반 모델 동결 접근은 운영 측면에서 경량성과 재현성을 동시에 제공한다.
벤치마크
| 벤치마크 | 지표 | 값 | 비교 |
|---|---|---|---|
| Depth consistency (no prompt) | Pearson correlation (input depth vs generated depth) | 0.98 | — |
| Depth consistency (with prompt) | Pearson correlation (input depth vs generated depth) | 0.99 | — |
이미지 분석


88
LIKES
0
DOWNLOADS
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.