자신의 사진 스타일을 학습시킨 Klein 9B LoRA 실험기

작성자는 자신의 실험 결과에 대해 텍스트 투 이미지 성능은 만족하나 이미지 투 이미지와 혼합 사용 시의 미묘한 효과에 대해서는 개선의 여지가 있다고 평가했다. 별도의 댓글 반응은 없으나 구체적인 설정값과 설치 스크립트를 공유하여 재현 가능성을 높였다.

• SimpleTuner 사용 시 세부 묘사가 중요하다면 Flow 값을 1-2 사이로 설정한다.
• 학습 결과가 너무 약하게 나타나면 최종 단계 이전의 체크포인트들을 비교 검토한다.
• AMD GPU 환경에서는 MIOPEN_FIND_MODE=FAST 설정을 통해 연산 속도를 최적화할 수 있다.

• 학습률 4e-4는 일반적인 LoRA 학습보다 높은 편이며 이로 인해 오버피팅이 빠르게 발생했을 가능성이 있다.
• Flow 파라미터 조절을 통해 모델이 데이터셋의 질감이나 구도 중 어느 쪽에 더 집중할지 제어하는 기법이 유효했다.

• 개인 사진 55장만으로도 특정 사진 작가의 고유한 스타일을 담은 LoRA 학습이 가능하다.
• SimpleTuner의 Flow 설정을 통해 세부 사항(Flow 1-2) 또는 전체적인 구도(Flow 3-5) 중 집중할 요소를 선택할 수 있다.
• 학습 과정에서 의도보다 높은 학습률이 적용되더라도 중간 단계의 체크포인트를 활용해 최적의 결과를 찾을 수 있다.
• AMD GPU 사용자도 ROCm nightly 버전을 통해 최신 AI 모델 학습 환경을 구축할 수 있다.