eric-venti-seeds/Sun-Direction-Lora-Flux2Klein9B

이 모델은 이미지-투-이미지 재조명(relighting) 태스크를 수행하며, 참조 이미지에서 지정된 태양의 회전(rotation)과 고도(elevation)를 목표 이미지에 반영해 장면의 조명 방향과 그림자를 수정한다. 주로 외부 전경과 배경을 대상으로 동작하도록 학습되어 있으며 내부 환경에서는 동작 보장이 제공되지 않는다. 워크플로는 입력을 먼저 overcast 상태로 변환하는 단계와 이후 태양 방향을 적용하는 단계를 포함해 안정적인 결과를 생성한다.apache-2.0

이 LoRA는 FLUX.2 Klein 9B를 기반으로 외부 장면에 대해 참조 이미지의 태양 고도와 회전 각도를 모델이 반영하도록 학습되어 이미지-투-이미지 재조명 작업에서 태양 방향을 제어한다. 훈련 과정은 구(구체) 레퍼런스 이미지를 사용해 태양 방향을 명시적으로 지정하는 워크플로를 필요로 하며, 입력 이미지에 명확한 광원 방향이 있을 경우에는 overcast로 먼저 처리하도록 권장한다. Sphere Light Render Node와 블렌더 장면을 함께 제공해 레퍼런스 볼 이미지를 생성하는 보조 도구를 포함한다.

학습 방식 · 이 모델은 black-forest-labs/FLUX.2-klein-9B를 기반으로 한 LoRA 방식으로 학습되었으며, 구 레퍼런스 이미지에서 유도한 태양 회전·고도 신호를 반영하도록 어댑터 파라미터를 학습했다. 학습 데이터와 구성은 외부 장면 중심으로 구성되어 내부 장면 사례는 포함되지 않은 것으로 명시되어 있다. 작성자는 향후 버전에서 overcast 전처리 없이 직접 조명 속성(세기, 색상, 하드니스)을 조정하는 기능을 추가할 계획을 표명했다.

TL;DR

이 프로젝트는 black-forest-labs/FLUX.2-klein-9B를 기반으로 만든 LoRA로, 구(스피어) 레퍼런스를 사용해 참조 이미지의 태양 회전과 고도를 대상 이미지에 반영하는 외광 재조명(image-to-image) 기능을 제공한다. 워크플로는 입력을 먼저 overcast로 평준화한 뒤 구 레퍼런스의 그림자 방향을 이용해 장면 전체의 그림자와 하이라이트를 재조성하는 두 단계 구조를 채택하며 Sphere Light Render Node와 블렌더 씬을 함께 제공해 동일한 레퍼런스를 재현할 수 있게 설계되었다. 결과 예시는 건물, 도시 전경, 인물 등 외부 장면에서 레퍼런스 방향에 따라 그림자와 조명 방향이 일관되게 바뀌는 점을 보여주며, README에서는 내부 장면 미지원과 overcast 전처리 필요성을 명확히 밝혀 사용 범위와 한계를 규정하고 있다.

핵심 포인트

구(스피어) 레퍼런스를 명시적으로 사용하는 파이프라인을 채택해 태양 방향을 직관적으로 입력받고 학습 신호로 활용한 점이 차별화 요소다. 많은 일반적인 relighting 접근은 장면 전체의 조명 통계나 히스토그램을 사용하지만 이 모델은 물리적으로 해석 가능한 구 그림자 벡터를 이용한다. 결과적으로 사용자가 원하는 각도를 명시적으로 제어하기 쉬운 인터페이스를 제공한다.
워크플로 상단에 overcast 전처리 단계를 통합해 입력 이미지의 기존 광원 신호를 평준화하는 설계를 채택했다. 이 설계는 레퍼런스 기반 조명 적용 시 기존 광원과의 충돌을 줄여 안정적인 재조명 결과를 유도한다. 작성자는 이 전처리 단계를 향후 버전에서 제거하거나 선택적으로 만들 계획을 밝히고 있어 사용성 개선 여지가 있다.
Sphere Light Render Node와 블렌더 씬을 공개해 레퍼런스 생성 도구를 함께 제공함으로써 재현 가능한 실사용 워크플로를 제시한 점이 제품적 차별화다. 단순한 LoRA 파일만 제공하는 사례와 달리 입력 레퍼런스를 같은 방식으로 생성할 수 있어 실험 간 비교가 용이하다. 이 도구 결합은 사용자 측 재현성과 튜닝 편의성을 높인다.
외부 장면에 특화된 재조명 제어를 목표로 삼아 야외 풍경과 건축물에 대해 직관적인 태양 방향 조절을 제공한다. README 예시에서 성능을 확인할 수 있는 여러 외광 샘플이 포함되어 있다. 외광 중심 데이터로 훈련되어 실무적 활용성이 높다.