AI-Toolkit으로 학습한 Flux LoRA를 ComfyUI에서 제대로 실행하는 방법

핵심 요약

AI-Toolkit의 Flow Matching으로 학습된 Flux LoRA가 ComfyUI의 일반 샘플러에서 품질 저하를 일으키는 문제와 해결 방안을 정리했다.

배경

AI-Toolkit을 사용하여 Flux 모델용 LoRA를 학습시킨 사용자가 학습 결과물은 훌륭하지만, ComfyUI에서 실행 시 Flow Matching 샘플러 부재로 인해 품질이 저하되는 문제를 겪고 해결 방법을 질문했다.

의미 / 영향

Flux 모델은 기존 Stable Diffusion과 다른 Flow Matching 구조를 가지므로 학습과 추론 도구 간의 완벽한 호환성 확인이 중요하다. 특히 AI-Toolkit과 같은 특정 툴킷에서 최적화된 학습 결과물을 범용 UI에서 재현하려면 전용 노드나 최신 업데이트가 필수적임을 나타낸다.

실용적 조언

Flux 모델 추론 시 ComfyUI에서 전용 Flow Matching 노드나 설정을 확인하여 샘플러 불일치 문제를 해결해야 한다.

언급된 도구

AI-Toolkit추천

Flux 모델 LoRA 학습 및 샘플링

ComfyUI중립

노드 기반 AI 이미지 생성 인터페이스

Flux.1추천

최신 이미지 생성 기본 모델

섹션별 상세

AI-Toolkit의 Flow Matching 학습 방식과 ComfyUI 샘플러 간의 호환성 문제가 나타났다. 작성자는 AI-Toolkit 내부 샘플러로는 완벽한 결과물을 얻었으나, ComfyUI에서 Euler 샘플러를 사용했을 때 결과물이 매우 조악하게 출력되는 현상을 기록했다. 이는 Flux 모델의 특성인 Flow Matching 아키텍처가 특정 추론 환경이나 샘플러 설정에 민감하게 반응함을 의미한다.

Flux 모델 추론을 위한 적절한 소프트웨어 및 설정에 대한 정보 공유가 진행됐다. 사용자는 Flow Matching을 지원하는 별도의 소프트웨어가 있는지, 혹은 ComfyUI 내에서 이를 구현할 수 있는 노드나 설정이 존재하는지 질문했다. 커뮤니티에서는 Flux 모델의 경우 일반적인 확산 모델(Diffusion Model)과 다른 샘플링 방식이 필요하다는 점이 주요 논점으로 확인됐다.

실무 Takeaway

Flux 모델 LoRA 학습 시 AI-Toolkit의 Flow Matching 방식은 매우 높은 품질의 결과물을 생성한다.
ComfyUI에서 Flux 모델을 사용할 때는 단순한 Euler 샘플러 대신 모델 아키텍처에 맞는 전용 샘플링 설정이 필수적이다.
학습 환경(AI-Toolkit)과 추론 환경(ComfyUI) 간의 샘플러 불일치가 생성 이미지 품질 저하의 주된 원인이다.