TL;DR

이 프로젝트는 black-forest-labs/FLUX.2-klein-9B를 기반으로 만든 LoRA로, 구(스피어) 레퍼런스를 사용해 참조 이미지의 태양 회전과 고도를 대상 이미지에 반영하는 외광 재조명(image-to-image) 기능을 제공한다. 워크플로는 입력을 먼저 overcast로 평준화한 뒤 구 레퍼런스의 그림자 방향을 이용해 장면 전체의 그림자와 하이라이트를 재조성하는 두 단계 구조를 채택하며 Sphere Light Render Node와 블렌더 씬을 함께 제공해 동일한 레퍼런스를 재현할 수 있게 설계되었다. 결과 예시는 건물, 도시 전경, 인물 등 외부 장면에서 레퍼런스 방향에 따라 그림자와 조명 방향이 일관되게 바뀌는 점을 보여주며, README에서는 내부 장면 미지원과 overcast 전처리 필요성을 명확히 밝혀 사용 범위와 한계를 규정하고 있다.

핵심 역량

• 참조 이미지로부터 태양의 회전과 고도 정보를 추출해 대상 이미지의 조명 방향을 재조정하는 기능을 지원한다. 이 과정은 레퍼런스 구(구체) 이미지에서 생성된 그림자 패턴을 기준으로 하여 장면 전체의 그림자 방향과 하이라이트를 일관되게 바꾼다. 결과 이미지는 입력 장면의 구조를 유지하면서도 빛 방향이 변경된 상태로 재합성된다.
• 외부 장면에 특화된 적용 범위를 갖기 때문에 야외 풍경, 건물, 도시 전경 등 자연광이 지배적인 이미지에서 신뢰도 높은 재조명 결과를 낸다. README에 따르면 내부 장면은 훈련 데이터에 포함되지 않아 예측 품질 보장이 되지 않는다. 입력 이미지에 명확한 광원 방향이 있으면 먼저 overcast 처리 단계를 적용해 기준을 평준화할 것을 권장한다.
• 워크플로와 함께 제공되는 Sphere Light Render Node는 사용자가 원하는 태양 고도와 회전 각도를 정밀하게 설정한 구 레퍼런스 이미지를 생성하도록 돕는다. 이 레퍼런스는 LoRA가 학습된 방식과 일치하는 형태로 입력되며, 필요시 제공된 블렌더 씬을 이용해 동일한 레퍼런스를 직접 렌더링할 수 있다. 이로 인해 사용자는 재현 가능한 lighting 참조 세트를 구성할 수 있다.

강점

• 외부 장면에 특화된 재조명 제어를 목표로 삼아 야외 풍경과 건축물에 대해 직관적인 태양 방향 조절을 제공한다. README 예시에서 성능을 확인할 수 있는 여러 외광 샘플이 포함되어 있다. 외광 중심 데이터로 훈련되어 실무적 활용성이 높다.
• 구(스피어) 레퍼런스를 명시적으로 사용하도록 학습되어 사용자가 원하는 태양 방향을 정밀하게 입력할 수 있다. 이를 위해 Sphere Light Render Node와 블렌더 씬을 제공해 동일한 레퍼런스 세트를 재생산할 수 있게 했다. 이 도구 조합은 조건화 신호의 일관성을 높여 결과 재현성을 개선한다.
• Apache-2.0 라이선스를 채택해 상업적·비상업적 사용에 대해 명확한 허가 범위를 제공한다. 모델 메타데이터에 라이선스가 명시되어 있어 통합 시 법적 검토 단계를 단순화한다. 다만 기반 모델과의 라이선스 호환성은 사용자가 별도 확인해야 한다.

훈련 방식

이 모델은 black-forest-labs/FLUX.2-klein-9B를 기반으로 한 LoRA 방식으로 학습되었으며, 구 레퍼런스 이미지에서 유도한 태양 회전·고도 신호를 반영하도록 어댑터 파라미터를 학습했다. 학습 데이터와 구성은 외부 장면 중심으로 구성되어 내부 장면 사례는 포함되지 않은 것으로 명시되어 있다. 작성자는 향후 버전에서 overcast 전처리 없이 직접 조명 속성(세기, 색상, 하드니스)을 조정하는 기능을 추가할 계획을 표명했다.

알아두면 좋은 것

• 트리거 문장은 'match the sun direction from the reference'이며 이 문장을 프롬프트에 포함해 태양 방향 재조명 작업을 시작한다. 추가로 'add a clear blue sky'나 'keep the cloudy sky' 같은 조건 문구를 결합할 수 있어 출력의 하늘 상태를 제어할 수 있다. 반복 생성 시 시드 고정을 권장해 타임랩스에서 깜빡임을 줄이라고 안내한다.
• 모델은 외부 장면에 중점을 두어 학습되었고 내부 장면에서는 올바르게 작동한다고 보장하지 않는다. 입력 이미지에 이미 뚜렷한 광원 방향이 존재하면 먼저 overcast로 변환하는 전처리 단계가 필요하며 README의 워크플로 상단이 이 작업을 담당한다. 작성자는 v2에서 이 중간 overcast 단계 제거와 빛의 세기·색·하드니스 제어 기능을 추가할 계획이라고 명시했다.
• 구 레퍼런스를 사용하도록 설계되어 Sphere Light Render Node와 블렌더 씬을 함께 제공한다. 해당 노드는 사용자가 입력값(rotation, elevation, intensity)을 지정해 일관된 레퍼런스 이미지를 생성하게끔 구성되어 있다. 노드와 블렌더 씬은 레퍼런스 생성의 재현성과 사용자 편의를 높이는 도구로 README에서 직접 다운로드 링크를 제공한다.

기술적 특징

• LoRA 기반 어댑터를 사용해 FLUX.2-klein-9B에 조명 제어 기능을 추가했다. 이 접근법은 전체 모델 가중치를 수정하지 않고도 목표 기능을 경량화해 적용할 수 있게 하며, 원본 모델을 손대지 않은 채 특화 기능을 빠르게 배포할 수 있다. 작성자는 구 레퍼런스를 통해 조명 방향 신호를 안정적으로 주입하는 학습 절차를 사용했다.
• 레퍼런스 입력으로 구(스피어) 이미지를 사용해 태양의 회전과 고도 정보를 명시적으로 인코딩한다. 구 그림자의 방향과 길이는 조명 각도 정보를 일관되게 전달하므로 모델은 이 신호를 장면 전체에 전파해 그림자 방향과 하이라이트를 재합성한다. Sphere Light Render Node는 사용자가 동일한 레퍼런스를 반복 생성할 때 각도를 정밀하게 지정할 수 있게 설계되어 있다.
• 전처리 워크플로가 입력 이미지를 먼저 overcast 상태로 변환해 기존의 뚜렷한 광원 신호를 평준화한다. 이 단계는 모델이 레퍼런스에서 주어지는 조명 신호를 우선적으로 반영하게끔 입력 분포를 조정하는 역할을 하며, 과도한 기존 조명 간섭을 줄인다. README에서는 이 전처리 단계를 비활성화할 수 있는 옵션과 v2에서 해당 단계 제거 계획을 병기했다.
• 워크플로와 도구 세트가 함께 제공되어 사용자가 직접 레퍼런스 데이터를 생성하고 재현성을 확보할 수 있게 했다. Sphere Light Render Node의 파라미터(rotation, elevation, intensity)는 학습에 사용된 입력 포맷과 일치하므로 파라미터 조절만으로 다양한 태양 방향을 생성할 수 있다. 블렌더 씬 파일도 함께 제공되어 GPU 렌더링 워크플로와의 연계를 지원한다.

차별점

• 구(스피어) 레퍼런스를 명시적으로 사용하는 파이프라인을 채택해 태양 방향을 직관적으로 입력받고 학습 신호로 활용한 점이 차별화 요소다. 많은 일반적인 relighting 접근은 장면 전체의 조명 통계나 히스토그램을 사용하지만 이 모델은 물리적으로 해석 가능한 구 그림자 벡터를 이용한다. 결과적으로 사용자가 원하는 각도를 명시적으로 제어하기 쉬운 인터페이스를 제공한다.
• 워크플로 상단에 overcast 전처리 단계를 통합해 입력 이미지의 기존 광원 신호를 평준화하는 설계를 채택했다. 이 설계는 레퍼런스 기반 조명 적용 시 기존 광원과의 충돌을 줄여 안정적인 재조명 결과를 유도한다. 작성자는 이 전처리 단계를 향후 버전에서 제거하거나 선택적으로 만들 계획을 밝히고 있어 사용성 개선 여지가 있다.
• Sphere Light Render Node와 블렌더 씬을 공개해 레퍼런스 생성 도구를 함께 제공함으로써 재현 가능한 실사용 워크플로를 제시한 점이 제품적 차별화다. 단순한 LoRA 파일만 제공하는 사례와 달리 입력 레퍼런스를 같은 방식으로 생성할 수 있어 실험 간 비교가 용이하다. 이 도구 결합은 사용자 측 재현성과 튜닝 편의성을 높인다.

이미지 분석