OneTrainer를 이용한 Klein 9 모델 LoRA 학습 경험 및 강도 설정 문제

핵심 요약

OneTrainer로 Klein 9 기반 LoRA를 학습했으나, 가중치 1.0에서는 반응이 없고 2.0에서만 유사도가 확보되는 현상에 대한 논의이다.

배경

사용자가 OneTrainer를 사용하여 Klein 9 모델용 LoRA를 학습시켰으나, 예상보다 빠른 학습 속도와 작은 파일 크기, 그리고 특정 강도(2.0)에서만 작동하는 특이 현상을 발견하여 커뮤니티의 조언을 구했다.

커뮤니티 반응

작성자의 특이한 학습 결과에 대해 유사한 경험을 가진 사용자들의 의견을 구하고 있으며, 강도 2.0 설정에 대한 기술적 근거를 찾는 중이다.

언급된 도구

OneTrainer추천

LoRA 및 체크포인트 학습 도구

ComfyUI중립

노드 기반 이미지 생성 인터페이스

Klein 9중립

학습 베이스로 사용된 Flux 계열 모델

섹션별 상세

RTX 4060 16GB VRAM과 128GB RAM 환경에서 20장의 고해상도 이미지를 학습시키는 데 단 40분이 소요됐다. 작성자는 4시간 이상의 긴 학습 시간을 예상했으나 결과가 매우 빠르게 나타났으며, 이는 OneTrainer의 Flux/Klein 최적화 설정 덕분인 것으로 보인다.

생성된 LoRA 파일 크기가 약 80MB로 나타나 작성자가 예상했던 150MB보다 훨씬 작게 생성됐다. ComfyUI에서 기본 강도인 1.0으로 적용했을 때는 이미지에 아무런 변화가 관찰되지 않아 초기에는 학습 실패를 의심하게 만들었다.

강도를 조절하던 중 2.0 지점에서 갑자기 원본과의 유사도가 급격히 높아지는 현상이 확인됐다. 2.0 미만에서는 효과가 거의 나타나지 않고, 그 이상으로 올리면 이미지가 과하게 타버리는(overcooked) 현상이 발생하여 적정 수치에 대한 의문이 제기됐다.

학습은 Klein 9 베이스 모델로 진행했으나 실제 추론 시에는 속도를 위해 Klein 9b 증류(Distilled) 버전을 사용하고 있다. 베이스 모델과 증류 모델 간의 아키텍처 차이나 가중치 적용 방식의 불일치가 강도 설정 문제의 원인일 가능성이 시사됐다.

실무 Takeaway

OneTrainer의 기본 설정을 활용하면 RTX 4060 환경에서도 Klein 9 LoRA 학습을 1시간 이내로 완료할 수 있다.
학습된 LoRA가 기본 강도(1.0)에서 작동하지 않고 2.0 근처에서만 급격히 반응하는 특이 케이스가 존재한다.
학습 시 사용한 베이스 모델과 추론용 증류 모델이 다를 경우 가중치 효율이 달라질 수 있음을 유의해야 한다.