ComfyUI-DoRA-Dynamic-LoRA-Loader 출시: Flux 및 OneTrainer DoRA 호환성 문제 해결

커뮤니티 반응

사용자들은 특히 Flux 모델에서 DoRA가 제대로 적용되지 않던 문제가 해결된 것에 대해 긍정적인 반응을 보였다. 개발자는 추가적인 엣지 케이스에 대한 로그 제보를 요청하며 지속적인 업데이트 의지를 밝혔다.

실용적 조언

OneTrainer에서 Flux DoRA 학습 시 'Apply on output axis' 옵션을 사용했다면 반드시 이 노드를 사용하여 로딩 오류를 방지해야 한다.
로딩 중 'lora key not loaded' 메시지가 출력된다면 이 노드의 디버그 로깅 기능을 활성화하여 누락된 키의 매핑 상태를 점검할 수 있다.
설치는 ComfyUI-Manager에서 검색하여 설치하는 것이 가장 권장되는 방식이다.

섹션별 상세

OneTrainer의 'Decompose Weights'나 'Apply on output axis' 설정을 사용해 내보낸 Flux DoRA LoRA가 기존 로더에서 수많은 키 누락 오류를 발생시키는 현상을 확인했다. 특히 rgthree의 Power LoRA Loader 등에서 트랜스포머 블록의 변조(Modulation) 레이어 키를 찾지 못하는 문제가 빈번하게 보고됐다.

text

lora key not loaded: transformer.double_stream_modulation_img.linear.alpha
lora key not loaded: transformer.double_stream_modulation_img.linear.dora_scale
lora key not loaded: transformer.double_stream_modulation_img.linear.lora_down.weight
lora key not loaded: transformer.double_stream_modulation_img.linear.lora_up.weight

기존 로더에서 OneTrainer로 학습된 DoRA LoRA 로드 시 발생하는 전형적인 키 누락 오류 로그

새로운 노드는 `time_guidance_embed`를 `time_text_embed`로 자동 리매핑하고, `.linear`와 `.lin` 사이의 명칭 차이를 동적으로 해결하여 호환성을 확보했다. 또한 OneTrainer의 전역 변조 LoRA를 ComfyUI가 기대하는 블록별 타겟으로 브로드캐스팅하는 기능을 포함했다.

DoRA 행렬의 방향 행렬 레이아웃이 대상 가중치와 일치하지 않는 전치(Transposed) 문제를 수정했다. 연산 과정에서 fp32 중간 단계를 사용하여 수치적 안정성을 높였으며, NaN 또는 Inf 발생 시 경고를 표시하는 진단 기능을 추가했다.

QKV 가중치와 같이 팩킹된 타겟에 대해 슬라이스 인식(Slice-aware) `dora_scale` 처리를 적용하여 정확한 가중치 적용이 가능하도록 구현했다. 이는 Flux.2 모델에서 발생하는 특수한 레이아웃 문제를 해결하는 핵심 요소이다.

bash

cd ComfyUI/custom_nodes/
git clone https://github.com/marres/ComfyUI-DoRA-Dynamic-LoRA-Loader
# restart ComfyUI

ComfyUI-DoRA-Dynamic-LoRA-Loader 노드 수동 설치 방법

용어 해설

가중치 분해 저랭크 적응(DoRA): — 가중치 행렬을 크기(Magnitude)와 방향(Direction)으로 분해하여 학습하는 미세조정 기법이다. 기존 LoRA보다 학습 안정성이 높고 사전 학습된 모델의 지식을 더 잘 유지하며, Flux와 같은 대형 모델에서 고품질의 스타일 전이가 가능하다.
원트레이너(OneTrainer): — 스테이블 디퓨전 및 Flux 모델 학습을 위한 오픈소스 그래픽 사용자 인터페이스(GUI) 프레임워크이다. 다양한 학습 옵션과 데이터셋 관리 기능을 제공하며, 특히 DoRA와 같은 최신 학습 기법을 선제적으로 지원한다.
키 매핑(Key Mapping): — 학습 시 저장된 모델 레이어의 이름(Key)을 추론 엔진이 인식할 수 있는 이름으로 연결하는 과정이다. 학습 도구와 추론 도구 간의 명명 규칙이 다를 경우 이를 일치시켜야 가중치가 정상적으로 적용된다.
32비트 부동 소수점(FP32): — 데이터를 32비트 정밀도로 표현하는 수치 형식이다. DoRA 연산 과정에서 정밀도 손실로 인한 오류를 방지하기 위해 중간 계산 과정에서 높은 정밀도를 유지하는 것이 중요하다.

언급된 도구

ComfyUI-DoRA-Dynamic-LoRA-Loader추천

Flux 및 OneTrainer DoRA LoRA의 호환성 해결 및 로딩

OneTrainer중립

AI 모델 학습 및 DoRA 엑스포트

rgthree's Power LoRA Loader중립

기존의 LoRA 로딩 도구 (일부 DoRA 호환성 문제 발생)

언급된 리소스

GitHubComfyUI-DoRA-Dynamic-LoRA-Loader GitHub Repository