1990년대 만화 스타일 재현을 위한 Psionix LoRA 모델 및 학습 설정 공유

작성자가 직접 소장한 자료를 활용했다는 점과 특정 캐릭터에 치우치지 않은 범용적인 스타일 재현에 대해 긍정적인 반응이 예상된다.

• 기본 사용 시 LoRA 강도를 0.8로 설정하는 것이 가장 안정적인 결과물을 보장한다.
• 손가락 묘사 오류가 발생할 경우 'best hands, five fingers' 프롬프트를 추가하여 보정한다.
• 더 고전적인 느낌을 원한다면 강도를 1.0까지 높여 실버 에이지 스타일을 유도한다.

LoRA

— 기존에 학습된 거대 모델의 가중치를 고정한 채 일부 파라미터만 미세 조정하여 특정 스타일이나 캐릭터를 효율적으로 학습시키는 기법이다. 적은 양의 데이터와 낮은 연산 자원으로도 고품질의 스타일 전이가 가능하여 Stable Diffusion 커뮤니티에서 널리 사용된다.

Rank

— LoRA 학습 시 가중치 행렬을 분해하는 차원의 크기를 결정하는 파라미터이다. 랭크 값이 높을수록 모델이 학습 데이터의 복잡한 디테일을 더 많이 기억할 수 있지만, 결과 파일의 용량이 커지고 과적합의 위험이 증가한다.

Differential Guidance

— 이미지 생성 과정에서 프롬프트에 따른 가이드 강도를 단계별로 조절하여 스타일의 일관성과 세부 묘사의 균형을 맞추는 기술이다. 특정 타임스텝에서 가이드를 차별화함으로써 더 정교한 스타일 재현을 가능하게 한다.

AdamW8Bit

— 모델 학습 시 가중치 업데이트를 최적화하는 알고리즘인 AdamW를 8비트 정밀도로 압축하여 메모리 사용량을 획기적으로 줄인 버전이다. 성능 저하를 최소화하면서도 일반 소비자용 GPU에서 대규모 모델 학습을 가능하게 한다.