핵심 요약
FLUX.2-dev 모델에서 Ostris AI-Toolkit을 사용하여 캐릭터 LoRA를 학습시킨 상세 설정과 데이터셋 전략, 그리고 InsightFace를 통한 성능 검증 결과를 공유한다.
배경
FLUX.2-dev 모델을 기반으로 캐릭터 LoRA를 학습시키기 위해 Ostris AI-Toolkit과 RunPod H100 환경에서 실험을 진행했다. 학습률, 랭크(Rank), 캡션 전략 등 최적의 설정을 찾고 InsightFace 유사도 점수를 통해 결과를 검증한 내용을 정리했다.
의미 / 영향
FLUX.2-dev는 이전 버전과 아키텍처가 달라 전용 설정과 도구가 필요함이 확인됐다. 캐릭터 LoRA 학습 시 데이터셋의 다양성과 캡션 전략이 정체성 고착 방지에 핵심적인 역할을 하며, Gemini API를 활용한 후처리가 실사 품질 향상에 유효한 대안으로 나타났다.
커뮤니티 반응
작성자의 상세한 설정 공유에 대해 긍정적인 반응이며, 특히 FLUX.2 전용 설정값과 InsightFace를 이용한 수치적 검증 방식이 유용하다는 평가이다.
실용적 조언
- FLUX.2-dev 학습 시 반드시 arch: 'flux2'를 사용하고 quantize_te: true를 활성화할 것
- 캐릭터 LoRA 학습 시 캡션에서 눈동자 색이나 피부 톤 등 고정할 특징은 생략하여 유연성을 확보할 것
- 액세서리 고착 방지를 위해 데이터셋의 최소 30%는 장신구가 없는 이미지로 구성할 것
- 추론 시 Rank 64 LoRA는 강도를 1.0으로 설정하여 정체성 발현을 극대화할 것
전문가 의견
- FLUX.2는 Mistral 24B를 텍스트 인코더로 사용하므로 기존 T5 기반 FLUX.1 학습 방식과 완전히 분리하여 접근해야 한다.
- LoRA Rank가 높을수록 정체성이 여러 차원에 분산되므로 추론 시 더 높은 가중치(Strength)가 필요하다는 점을 실험으로 증명했다.
언급된 도구
FLUX.2 LoRA 학습 프레임워크
H100 GPU 클라우드 인프라
캐릭터 유사도 검증 및 벤치마크
생성 이미지 피부 질감 개선 후처리
4K 업스케일링 및 디테일 강화
섹션별 상세
실무 Takeaway
- FLUX.2-dev 학습 시 'arch: flux2'와 텍스트 인코더 양자화 설정이 필수적이다.
- 캐릭터 정체성 유지를 위해 Rank 32~64, LR 5e-5 설정이 권장된다.
- 캡션에 고정 속성을 적지 않아야 생성 시 유연성이 확보되며 액세서리 고착을 피하려면 데이터셋 다양성이 중요하다.
- FLUX.1과 FLUX.2는 LoRA 및 도구 호환성이 낮으므로 전용 워크플로우를 구축해야 한다.
- 피부 리얼리즘 향상을 위해 Gemini API를 활용한 후처리가 기존 FaceDetailer보다 우수한 결과를 냈다.
AI 요약 · 북마크 · 개인 피드 설정 — 무료