역계획 관점의 개인화: 구조적 디노이징으로 잠재 디자인 의도를 학습하는 에이전트 기반 슬라이드 생성

슬라이드 생성은 페이지 단위의 정교한 레이아웃과 스타일 결정을 요구하며 기존 템플릿 기반 접근은 사용자의 잠재적 디자인 의도를 포착하지 못한 채 지나치게 단순한 결과를 낳았다. 이 논문은 페이지 수준의 개인화를 역계획 문제로 형식화해 사용자가 제공한 소수의 참조로부터 잠재 계획을 추론하는 방향을 제시했다. 구조적 디노이징이라는 검증 가능한 자기지도 목표를 통해 실제 렌더러를 경유하지 않고도 플래너와 크리틱을 효율적으로 학습할 수 있음을 보였다.

슬라이드 개인화에서 핵심 난제는 사용자의 '잠재적 설계 의도(plan)'가 명시적으로 주어지지 않는 상황에서, 주어진 콘텐츠와 소수의 참조로부터 실행 가능한 세부 계획을 추론해야 한다는 점이다. 기존 방법은 템플릿을 그대로 적용하거나 길게 서술된 지시를 요구하므로 페이지 수준의 미세한 배치·계층·색상 선호를 포착하지 못한다. 이 문제를 역계획으로 보면 목표는 플래너가 제안한 계획이 블랙박스 실행기(E)를 통해 금슬라이드를 재현할 확률을 최대화하는 것이다.

원문 최적화가 불가능한 이유는 렌더링 우도 p(s∗|z)의 명시적 형태가 없고 실행기가 미분 불가능하다는 점이다. 이를 피하기 위해 Spire는 원본 슬라이드에 구조적 교란을 적용하고 그 교란의 역연산을 정답으로 보관하는 denoising surrogate를 만든다. 교란은 요소별로 위치, 크기, 색상 등 이산적 속성을 변경하므로 픽셀 단위 유사성보다 설계 오류를 더 정확히 반영한다.

이 surrogate 위에서 크리틱은 교란된 슬라이드와 참조를 입력받아 어떤 요소가 어떻게 잘못되었는지 판별하는 텍스트형 피드백을 학습하고 플래너는 그 피드백을 받아 계획을 생성하거나 기존 계획을 수정하는 방식으로 반복 개선한다. 판별 가능한 교란 기록을 보상 신호로 사용하면 크리틱의 출력은 검증 가능해지고 플래너는 블랙박스를 직접 경유하지 않고도 계획을 개선하는 방향으로 학습할 수 있다.

전체 접근은 플래너와 크리틱의 두 에이전트로 PSP 문제를 분해하는 것이다. 먼저 금슬라이드 s∗에 대해 요소 집합 {ei}의 속성을 독립적으로 무작위 교란하는 분포 qT(ei)(ai|ei)를 정의해 교란된 슬라이드 s̃와 교란 이력 Adiff를 얻는다. 이 삼중쌍(s̃, s∗, Adiff)이 자기지도 학습 신호가 된다. 크리틱은 (s̃, x, Dref)를 입력받아 교란을 기술하는 critique c를 샘플링하고, c는 Adiff와 대조되어 요소별 검증 보상 Rvfy를 얻는다.

플래너는 초기 제안 또는 수정 대상 플랜 z̃와 critique c를 입력으로 받아 새로운 계획 z를 생성한다. 플랜의 시각적 충실도는 VLM 판정자에게 (z, s∗, s̃)를 제시하여 어느 시각이 z에 더 충실한지를 묻는 방식으로 측정된다. 판정은 순서 바이어스 완화를 위해 두 번 수행되고 평균을 취해 Rpvm 보상을 산출한다. 크리틱 학습과 플래너 학습 모두 DAPO 기반 강화학습으로 최적화되며 형식 검증 조건(Rformat,c 및 Rformat,p)이 추가되어 출력 형식의 일관성을 확보한다.

구현 세부에서는 교란 공간을 세 가지 축(공간 레이아웃, 시각 계층, 스타일 일관성)으로 설계했고 각 요소 타입별로 별도의 교란 분포를 정의했다. 플래너와 크리틱의 기저 모델은 Qwen2.5-VL-7B-Instruct로 파인튜닝을 수행했고 학습 중 일부 오라클 역할은 고성능 VLM(GPT-5)을 이용해 교란을 계획 형태로 역변환하는 데 사용했다. 학습 후 실제 인퍼런스 단계에서는 플래너·크리틱이 블랙박스 실행기(GPT-o4-mini 기반 코드 실행기를 예로 듬)와 협업해 반복 생성·수정을 수행한다.

메인 평가에서는 Zenodo10k에서 샘플한 테스트 페이지와 SlideBench OOD 페이지에 대해 시각적 유사성(SSIM, CLIP)과 VLM 판정자 기반 품질 지표(신뢰성, 색상, 레이아웃, 미학)를 사용했다. 표에 따르면 테스트 페이지에서 Spire는 Sim_ssim=0.8134, Sim_clip=0.7018, 시각 평균 0.7576을 기록했고 VLM 판정자 평균 0.5415를 기록했다. OOD 평가에서는 시각 평균 0.6870과 판정자 평균 0.7333을 달성해 일반화 성능이 강함을 보였다.

비교 대상으로 AutoPresent, PPTAgent, Stable Diffusion 3.5, PSP(오프더쉘프 VLM) 등을 사용했고 Spire는 judge 기반 품질에서 전반적으로 우위를 점했다. 특히 템플릿 중심 방법(PPTAgent)은 참조의 구조적 정보가 손실될 때 신뢰성 점수가 크게 하락했고, 프롬프트 기반 단일 패스 방법(AutoPresent)은 상세 의도를 잡아내지 못해 성능이 낮았다.

제거 실험에서 파인튜닝을 하지 않은 경우 성능이 크게 떨어졌고 반복 수정 절차를 제거하면 시각·판정 점수 모두 낮아졌다. 또한 훈련된 7B급 Spire 크리틱으로 기존 PSP 시스템의 크리틱을 대체하면 모든 메트릭에서 개선이 일어나 크리틱의 목표 지향적 학습이 성능에 핵심적임이 확인되었다.

전체 아키텍처는 플래너 πθ와 크리틱 Cφ의 분리된 에이전트와 블랙박스 실행기 E로 구성된다. 플래너는 입력 x와 참조 Dref, 선택적으로 critique c와 suboptimal plan z̃를 받아 실행 가능한 계획 z를 샘플링한다. 크리틱은 s̃, x, Dref를 입력으로 critique c를 생성하고, 이 c는 요소별 교란 이력과 비교되어 Rvfy 보상을 얻는다.

교란 모델은 각 시각 요소 ei의 타입 T(ei)에 따라 독립적인 교란 분포 qT(ei)(ai|ei)를 적용해 액션 목록 A를 구성한다. 교란의 역연산 A_diff는 크리틱 검증의 정답 역할을 하며 플래너의 오라클 데이터 생성에도 사용된다. 플래너 보상 Rpvm은 VLM 판정자가 계획 z를 보았을 때 gold s∗과 perturbed s̃ 중 어떤 시각이 z에 충실한지를 판단해 부여하는 이진 판단의 평균으로 계산된다.

이론적으로는 Spire의 경험적 손실 ∇θĴSP가 원래 PSP 손실 ∇θJ에 대해 상수 배수와 오차항으로 연결되며(정리 2.1), 플래너·크리틱의 분해는 실행기 유래 그래디언트 노이즈를 제거해 분산을 낮춘다(정리 2.2). 학습은 DAPO 강화학습을 사용했고 포맷 검증 항목 Rformat,c와 Rformat,p를 추가해 산출물 형식의 일관성을 강제했다.

구현 세부에는 Qwen2.5-VL-7B-Instruct를 백본으로 한 파인튜닝, 학습 중 오라클로의 GPT-5 사용, 판독자 역할에 GPT-o4-mini·Claude Opus 4.5 활용, 실행 단계에서 python-pptx 기반 코드 실행을 통한 렌더링이 포함된다. 데이터는 Zenodo10k에서 무작위 추출한 200 데크를 슬라이드 수준으로 분리해 학습·테스트를 구성했다.

학습 절차는 참조 슬라이드가 존재해 문맥화된 취향 정보를 제공하는 상황을 전제로 하므로 참조가 부족한 사용 사례에서는 성능이 제한될 수 있다. 훈련과 평가에서 고성능 VLM 오라클(GPT-5 등)과 판정자(GPT-o4-mini, Claude Opus 4.5)에 의존해 그 품질이 낮아지면 보상 신호의 신뢰성이 떨어질 위험이 있다. 공개된 코드 저장소가 명시되어 있지 않아 본 논문 결과를 재현하려면 동일한 판정자·데이터·세부 구현을 확보해야 한다.