ComfyUI-DoRA-Dynamic-LoRA-Loader 출시: Flux 및 OneTrainer DoRA 호환성 문제 해결

핵심 요약

OneTrainer에서 학습된 Flux DoRA LoRA의 키 누락 및 행렬 불일치 문제를 해결하고 fp32 정밀도로 안정적인 로딩을 지원하는 전용 ComfyUI 노드 배포 소식이다.

배경

OneTrainer에서 특정 옵션으로 학습된 Flux/Flux.2 DoRA LoRA가 표준 ComfyUI 로더에서 제대로 로드되지 않는 문제를 해결하기 위해 전용 노드를 개발하여 배포했다.

의미 / 영향

Flux 모델의 미세조정 생태계에서 학습 도구와 추론 엔진 간의 파편화 문제가 발생하고 있으나, 커뮤니티 주도의 노드 개발을 통해 기술적 장벽이 빠르게 해소되고 있다. 특히 DoRA와 같은 정밀한 기법의 안정적인 구현을 위해 단순한 가중치 로딩을 넘어선 행렬 구조 최적화와 정밀도 관리가 필수적임이 확인됐다.

커뮤니티 반응

사용자들은 특히 Flux 모델에서 DoRA가 제대로 적용되지 않던 문제가 해결된 것에 대해 긍정적인 반응을 보였다. 개발자는 추가적인 엣지 케이스에 대한 로그 제보를 요청하며 지속적인 업데이트 의지를 밝혔다.

실용적 조언

OneTrainer에서 Flux DoRA 학습 시 'Apply on output axis' 옵션을 사용했다면 반드시 이 노드를 사용하여 로딩 오류를 방지해야 한다.
로딩 중 'lora key not loaded' 메시지가 출력된다면 이 노드의 디버그 로깅 기능을 활성화하여 누락된 키의 매핑 상태를 점검할 수 있다.
설치는 ComfyUI-Manager에서 검색하여 설치하는 것이 가장 권장되는 방식이다.

언급된 도구

ComfyUI-DoRA-Dynamic-LoRA-Loader추천

Flux 및 OneTrainer DoRA LoRA의 호환성 해결 및 로딩

OneTrainer중립

AI 모델 학습 및 DoRA 엑스포트

rgthree's Power LoRA Loader중립

기존의 LoRA 로딩 도구 (일부 DoRA 호환성 문제 발생)

섹션별 상세

OneTrainer의 'Decompose Weights'나 'Apply on output axis' 설정을 사용해 내보낸 Flux DoRA LoRA가 기존 로더에서 수많은 키 누락 오류를 발생시키는 현상을 확인했다. 특히 rgthree의 Power LoRA Loader 등에서 트랜스포머 블록의 변조(Modulation) 레이어 키를 찾지 못하는 문제가 빈번하게 보고됐다.

새로운 노드는 `time_guidance_embed`를 `time_text_embed`로 자동 리매핑하고, `.linear`와 `.lin` 사이의 명칭 차이를 동적으로 해결하여 호환성을 확보했다. 또한 OneTrainer의 전역 변조 LoRA를 ComfyUI가 기대하는 블록별 타겟으로 브로드캐스팅하는 기능을 포함했다.

DoRA 행렬의 방향 행렬 레이아웃이 대상 가중치와 일치하지 않는 전치(Transposed) 문제를 수정했다. 연산 과정에서 fp32 중간 단계를 사용하여 수치적 안정성을 높였으며, NaN 또는 Inf 발생 시 경고를 표시하는 진단 기능을 추가했다.

QKV 가중치와 같이 팩킹된 타겟에 대해 슬라이스 인식(Slice-aware) `dora_scale` 처리를 적용하여 정확한 가중치 적용이 가능하도록 구현했다. 이는 Flux.2 모델에서 발생하는 특수한 레이아웃 문제를 해결하는 핵심 요소이다.

실무 Takeaway

OneTrainer로 학습된 Flux DoRA 모델의 고질적인 로딩 및 호환성 문제를 해결하는 전용 ComfyUI 노드가 출시되었다.
키 리매핑, 행렬 레이아웃 수정, fp32 정밀도 연산을 통해 기존 로더의 기술적 한계를 극복했다.
ComfyUI-Manager를 통해 간편하게 설치 가능하며, 여러 LoRA를 하나의 노드에서 스택 형태로 관리할 수 있는 편의성을 제공한다.

언급된 리소스

GitHubComfyUI-DoRA-Dynamic-LoRA-Loader GitHub Repository