AI를 활용한 19세기 프레스코화 복원 시도와 Klein 9b 모델의 성능

핵심 요약

훼손된 19세기 프레스코화를 복원하기 위해 SD 1.5 대신 Klein 9b 모델을 활용하여 프롬프트 제약 조건과 특정 키워드 처리 방법을 통해 성공적인 결과를 얻은 실험 사례이다.

배경

과거 스페인에서 노부인이 복원을 시도하다 망친 '에체 호모(Ecce Homo)' 벽화 사건을 계기로, 현대 AI 기술이 이 벽화를 어떻게 복원할 수 있는지 실험하기 위해 작성되었다.

의미 / 영향

이 토론은 범용 이미지 생성 모델보다 특정 도메인에 특화된 시각 언어 모델의 유용성을 확인시켜 주었다. 특히 물리적 예술 복원 분야에서 AI의 잠재력을 시사하며, 향후 디지털과 아날로그 예술의 경계가 모호해질 것임을 예고한다.

커뮤니티 반응

사용자의 실험 결과에 대해 흥미롭다는 반응이 많으며, AI가 예술의 물리적 영역까지 침범할 가능성에 대해 열띤 토론이 이루어지고 있다.

주요 논점

01찬성다수

Klein 9b와 같은 최신 모델이 기존 SD 모델보다 복원 작업에서 훨씬 효율적이며 실용적이다.

02중립분열

AI가 실제 물감을 사용하는 물리적 복원까지 가능해지면 예술가들의 입지가 좁아질 수 있다.

합의점 vs 논쟁점

합의점

단순 생성 모델보다 맥락 이해도가 높은 모델이 복원 작업에 유리하다.
프롬프트에 의한 세밀한 제어가 복원 품질의 핵심이다.

논쟁점

AI를 이용한 물리적 회화 제작이 예술의 가치를 훼손하는지에 대한 여부
특정 종교적 이미지에 대한 모델의 편향적 묘사 문제

실용적 조언

복원 작업 시 'Avoid making any changes other than those listed'와 같은 제약 프롬프트를 사용하라.
특정 키워드에서 모델이 과하게 반응할 경우 해당 키워드의 가중치를 낮추거나 구체적인 묘사를 추가하라.

언급된 도구

Klein 9b추천

회화 복원 및 이미지 분석

Stable Diffusion 1.5 / SDXL중립

이미지 생성 및 복원 시도

ControlNet중립

이미지 구조 및 형태 제어

섹션별 상세

작성자는 처음에 Stable Diffusion 1.5와 SDXL, 그리고 ControlNet을 조합하여 벽화 복원을 시도했으나 만족스러운 결과를 얻지 못했다. 기술적 한계로 인해 수동 작업이 너무 많이 필요했고, 결국 이 방식을 포기하고 Klein 9b 모델로 전환했다. Klein 9b는 회화 복원의 맥락을 더 잘 이해하고 있었으며, 훨씬 적은 노력으로도 원본의 느낌을 살린 복원 결과물을 생성했다.

효과적인 복원을 위해 프롬프트 엔지니어링이 핵심적인 역할을 했다. 특히 "나열된 사항 외에는 원본 외형을 유지하라"는 지시어를 명시해야 모델이 불필요한 수정을 가하지 않았다. 캔버스 질감을 제거하거나 세부 묘사를 늘리려는 시도는 모델이 잘 수용하지 않았으나, 흰색 손상 부위를 주변 색으로 채우라는 구체적인 지시는 잘 작동했다.

그림의 내용물인 '가시 면류관'을 프롬프트에 포함했을 때 모델이 비정상적으로 반응하는 현상이 발생했다. 면류관의 형태를 너무 과장하거나 기괴하게 묘사하여, 작성자는 해당 키워드의 비중을 줄이거나 프롬프트를 수정해야 했다. 이는 특정 종교적 도상이나 복잡한 형태에 대해 모델이 가진 데이터 편향이나 해석의 한계를 보여주는 사례이다.

작성자는 AI가 단순한 디지털 이미지를 넘어 실제 물감을 사용하는 물리적 복원 도구로 발전할 가능성을 제시했다. Klein 모델을 이용해 컬러 맵을 생성하고 이를 물리적 프린팅 기술과 결합한다면 전통적인 예술가들의 영역이 위협받을 수 있다고 전망했다. 이러한 기술적 진보가 예술계에 가져올 사회적, 경제적 파장에 대해 커뮤니티 내에서 우려 섞인 논의가 진행되었다.

실무 Takeaway

Klein 9b 모델은 일반적인 Stable Diffusion 모델보다 회화 복원 작업에서 더 뛰어난 맥락 이해도를 보여준다.
복원 작업 시 원본 유지를 위해 "변경 사항 외 수정 금지"와 같은 제약 프롬프트 설정이 결과물의 품질을 결정한다.
특정 상징물(가시 면류관 등)에 대한 모델의 과잉 반응을 제어하기 위해 프롬프트 가중치 조절과 세밀한 튜닝이 필수적이다.