본문으로 건너뛰기

트렌딩 - GitHub 인기 레포 & HuggingFace 모델

Patil/Krea-2-depth-controlnet

이미지-투-이미지(image-to-image) 생성으로, 입력 이미지에서 추출한 깊이 맵을 조건으로 동일한 3차원 구조와 구도를 유지한 채 요청한 내용과 스타일로 출력을 생성하는 작업이다.krea-2-community-license

Krea-2 기반의 depth 제어 LoRA로 입력 깊이를 잠재 공간에 주입해 3D 구조를 높은 일관성으로 유지하면서 스타일과 콘텐츠를 변경한다.

학습 방식 · 기본적으로 Krea/Krea-2-Raw를 기반으로 LoRA 방식으로 파인튜닝했고 rank-64와 expanded input projection을 포함한 LoRA만 학습하여 기반 모델은 동결한 뒤 동작하도록 구성되었다. README는 학습 데이터·세부 옵티마이저 값을 제공하지 않으나 체크포인트가 Krea-2-Raw 위에서 훈련됐음을 명시하고 있어 기반 분포과의 호환성을 유지한다. 이 방식은 모델 가중치를 변경하지 않고 제어 능력을 추가함으로써 배포·재사용의 유연성을 높였다.

TL;DR

Krea-2 Depth ControlNet-LoRA는 Krea-2 기반의 단일 LoRA 체크포인트로 입력 이미지에서 Depth-Anything-V2-Large로 역깊이 맵을 추출하고 이를 Qwen-Image VAE로 잠재에 인코딩한 뒤 노이즈 잠재에 채널 단위로 결합하여 동일한 3D 구조를 유지하면서 스타일과 내용을 바꾸는 이미지-투-이미지 파이프라인이다. LoRA는 rank=64와 expanded input projection을 포함해 28개 블록에 적용되며 기반 모델은 동결되어 있으며 배포 파일 크기는 862MB이다. README는 빈 프롬프트에서의 Pearson 상관계수 0.98, 프롬프트 포함 시 0.99를 제시하여 깊이 일관성이 높음을 수치로 뒷받침하고 Turbo(8스텝)와 Raw(28–52스텝) 모드를 통해 속도와 품질의 트레이드오프를 제공한다고 밝힌다. 단점으로 실사적 원근이 부족한 평면적 2D 입력에서는 깊이 추출이 균일해 제어 효과가 약해질 수 있으며 출력 해상도는 Krea-2-Raw 기준 약 1K로 제한된다.

핵심 포인트

  • 깊이 맵을 Qwen-Image VAE로 인코딩한 뒤 잠재에서 채널 단위로 결합하는 설계는 깊이 조건을 잠재 수준에서 통합하는 방식을 택한 점에서 차별화된다. 이 방식은 픽셀 단위의 조건 주입보다 노이즈 단계 전반에서 구조 보존을 안정적으로 달성하는 데 유리하며 README가 이 파이프라인을 상세히 기술하고 있다. 따라서 깊이 기반 구조 제어를 강하게 보장하면서도 스타일 변화의 자유도를 유지할 수 있다.
  • LoRA만으로 제어 능력을 추가하는 배포 전략은 기반 모델 가중치를 변경하지 않고도 기능을 확장하도록 설계되어 실무적 유연성을 제공한다. 단일 862MB LoRA 파일로 전체 제어 기능을 제공하면서도 Krea-2의 Turbo/Raw 양쪽과 호환되도록 구성된 점이 실무 배포에서의 장점으로 제시된다. 이로 인해 다양한 기반 체크포인트에 빠르게 적용해 실험을 반복할 수 있다.
  • 깊이 일관성을 명시적 수치로 보고한 점이 차별화 요소로 작동한다; README는 빈 프롬프트와 프롬프트 포함 시의 Pearson 상관계수를 각각 제시하여 제어 신호의 영향력을 정량적으로 평가할 수 있게 했다. 이러한 수치 제시는 단순 시각 예시를 넘어 제어 강도의 객관적 비교를 가능하게 하여 모델 선택과 튜닝에 실질적 정보를 제공한다.
  • 깊이 보존 성능을 수치로 제시하여 읽기 쉬운 근거를 제공한다; 빈 프롬프트에서의 Pearson 상관계수 0.98과 프롬프트 포함 시 0.99는 깊이 신호가 생성 결과의 3D 구조를 매우 강하게 유지함을 나타낸다. 이 수치는 모델의 핵심 목적(깊이 일관성 유지)에 대한 직접적인 평가 지표로 작동하며, 빈 프롬프트 모드로 제어 신호의 순수 효과를 확인할 수 있게 설계되었다. 작은 LoRA 파일(862MB)과 기반 모델 동결 접근은 운영 측면에서 경량성과 재현성을 동시에 제공한다.

벤치마크

벤치마크지표비교
Depth consistency (no prompt)Pearson correlation (input depth vs generated depth)0.98
Depth consistency (with prompt)Pearson correlation (input depth vs generated depth)0.99

이미지 분석

초기 이미지, 추출된 깊이 맵, 그리고 LoRA 적용 후 생성 출력이 연속된 스트립으로 배치된 비교 이미지다.
이 이미지는 파이프라인의 입력에서 출력까지 흐름을 한눈에 보여주며 깊이 추출(중간 패널)이 실제 생성 결과의 구조를 어떻게 유지하는지 시각적으로 검증할 수 있게 만든다. 흑백의 깊이 맵과 컬러 출력을 나란히 제시함으로써 입력 원근 대비 생성물의 구조적 일치도를 직관적으로 확인할 수 있으며 README가 보고한 깊이 상관성 수치와 연계해 품질 평가에 활용될 수 있다.
입력으로 고양이 이미지가 주어지고 추출된 깊이 맵과 이를 바탕으로 변환된 호랑이 이미지가 나란히 배치된 예시 스트립이다.
이 예시는 동일한 3D 구조를 유지하면서 콘텐츠(고양이→호랑이)와 스타일이 어떻게 변환되는지를 보여준다. 깊이 맵이 구조의 기준점으로 작동하는 모습을 통해 README에 명시된 '동일한 3D 구조와 구도 유지' 주장이 시각적으로 뒷받침되며 프롬프트 유무·lora-scale 변경에 따른 제어 강도 실험에 사용하기 적합하다.

88

LIKES

0

DOWNLOADS

0 / 0

조회수

관련 토론

아직 관련 토론이 없습니다.

댓글

댓글을 작성하려면 로그인이 필요합니다.