SDXL로 재구성한 어린 시절의 기억

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

작성자는 어린 시절 가족 사진 60장으로 SDXL을 Fine-tuning해 과거 장면을 정확히 복원하는 대신 익숙하지만 실제로 존재했는지는 알 수 없는 공간과 얼굴을 생성했습니다. 이 불안정한 변형을 기억이 보존된 이미지를 검색하는 일이 아니라 불완전한 흔적을 바탕으로 과거를 재구성하는 과정에 대응시켰습니다. 제작 과정에는 Kohya를 이용한 모델 학습, TouchDesigner의 오디오 반응형 기하 시스템, WarpFusion을 통한 기하 구조와 Fine-tuned 모델의 결합이 포함됐습니다. 따라서 결과물은 사진 복원 도구라기보다 아카이브와 기억, 상상 사이에서 생성 모델의 환각을 시각화한 실험에 가깝습니다.

섹션별 상세

작성자는 가족 아카이브에서 고른 어린 시절 사진 60장을 SDXL의 Fine-tuning 데이터셋으로 사용했습니다. 목표는 원본 사진을 충실하게 복원하는 것이 아니라 사진에 남은 단서에서 익숙하지만 실제로 존재했는지는 불확실한 공간과 얼굴을 생성하는 일이었습니다. 이 설정은 생성 모델의 불안정한 출력과 인간의 기억이 과거를 재구성하는 방식 사이의 유사성을 실험 대상으로 삼습니다.

작업은 단순한 프롬프트 입력으로 끝나지 않고 Kohya를 이용한 SDXL Fine-tuning에서 시작했습니다. 이후 TouchDesigner에서 오디오에 반응하는 기하 구조 시스템을 만들고, WarpFusion을 다시 구축해 그 기하 구조를 Fine-tuned 모델과 결합했습니다. 출력은 정지 이미지 복원을 넘어 소리와 기하 구조, 생성 모델의 변형이 연결된 시청각 결과물로 확장됐습니다.

게시물은 결과물의 미학적 의미를 일화 기억에 관한 재구성적 관점과 연결합니다. 모델은 보존된 사진을 그대로 꺼내는 저장 장치가 아니라 불완전한 시각 자료를 바탕으로 새로운 장면을 만드는 외부화된 기억 장치처럼 기능합니다. 사진 수 60장과 구체적인 제작 도구 및 처리 단계가 제시돼 있어, 생성형 환각을 기억과 상상 사이의 표현 방식으로 실험한 사례로 읽을 수 있습니다.

용어 해설

파인튜닝(Fine-tuning): — 기존 모델의 가중치를 특정 데이터셋에 맞춰 추가 학습하는 방법입니다. 이 작업에서는 어린 시절 사진 60장을 학습 자료로 사용해 SDXL이 해당 시각적 단서에서 새로운 이미지를 생성하도록 조정했습니다.
생성형 환각(Generative Hallucination): — 생성 모델이 입력 자료에 그대로 존재하지 않는 장면이나 세부를 그럴듯하게 만들어내는 현상입니다. 게시물에서는 이 불안정한 변형을 기억이 불완전한 흔적에서 과거를 재구성하는 과정에 대응시켰습니다.
일화 기억(Episodic Memory): — 개인이 겪은 사건과 그 맥락을 기억하는 능력입니다. 게시물에서 인용한 관점은 일화 기억을 저장된 이미지를 그대로 꺼내는 과정이 아니라 불완전한 단서로 과거를 다시 구성하는 과정으로 봅니다.
오디오 반응형 기하 시스템(Audio-Reactive Geometry System): — 소리의 변화에 따라 시각적 기하 구조가 움직이거나 변형되는 시스템입니다. 이 프로젝트에서는 TouchDesigner로 만든 기하 구조를 Fine-tuned 모델과 결합해 영상 표현의 입력으로 활용했습니다.

언급된 도구

Kohya중립

어린 시절 사진 60장을 사용한 SDXL Fine-tuning

WarpFusion중립

TouchDesigner에서 생성한 기하 구조와 Fine-tuned 모델의 결합

TouchDesigner중립

오디오 반응형 기하 구조 시스템 제작

Premiere중립

프로젝트 영상 편집

After Effects중립

프로젝트 영상 후반 작업

Ableton Live중립

프로젝트의 오디오 제작 및 처리

Expressive Osmose중립

프로젝트에 사용된 도구

Soma Cosmos중립

프로젝트에 사용된 도구

언급된 리소스

튜토리얼audio-reactive geometry system in TouchDesigner

DemoYouTube

DemoInstagram

문서Patreon

문서Uisato Studio