정책-가이드 diffusion inpainting을 이용한 활성 표형 데이터 보강

데이터가 희소한 상황에서 샘플의 질은 단순 재현성보다 다운스트림 손실 감소에 좌우된다. TAP는 diffusion inpainting과 학습자 상태를 활용한 정책으로 무엇을 생성하고 언제 주입할지 제어해, 고충실도 샘플보다 더 큰 다운스트림 이익을 얻도록 설계되었다.

단락 1: 데이터 희소 상황에서 생성된 샘플은 분포의 고유한 구조를 반영해야 하며, 단순히 joint 분포(P(X, Y))를 모방하는 것이 유용하지 않다. 따라서 샘플의 유용성은 현재 모델의 불확실성과 표본의 유용성 간의 상호작용에 달려 있다. TAP는 이 fidelity-utility gap을 해소하기 위해 샘플 생성의 조건부 제어를 학습한다. 접근의 뿌리는 샘플의 질이 아니라 다운스트림 손실 감소에 있다.

단락 2: TAP는 anchor를 고정하고 남은 열을 diffusion inpainting으로 재생성하는 제안 커널 Qa를 사용한다. x_syn ∼ qϕ(xm | xm¯, c)로 샘플링하며, x(s−1)에서 고정 좌표를 되돌리며 안정적으로 조건부 생성을 수행한다. a := (c, η, ρ)로 제어 변수를 정의하고, Panc와 pmask를 통해 anchors와 재생 패턴을 결정한다.

단락 3: 실험에서 TAP는 Real 대비 평균적으로 가장 높은 다운스트림 이득을 보이며, scarcity가 커질수록 차이가 감소하는 경향이 있다. largest gains은 nreal=20에서 관찰되며, 15.6pp의 정확도 개선 및 최대 32%의 RMSE 감소를 기록했다. 게이팅/커밋먼트 제거 시 tail 위험이 증가하고 성능이 불안정해지는 ablation 결과를 보였다. TAP의 wall-clock 비용은 diffusion 백본의 비용 외엔 비슷한 수준으로, 온라인 평가가 학습 없이 빠르게 수행된다는 점이 확인된다.

3.2절에서 diffusion inpainting의 구체적 수식은 anchor x의 일부 열을 고정하고 나머지 열을 qϕ로 재생성하는 방식이다. x_syn은 x_m | x_{m¯}, c에 의해 샘플링되고, reverse diffusion step에서 fixed coordinates는 forward 노이즈 값으로 바뀌지 않도록 한다. a=(c, η, ρ)로 제어되며, Qa(·|Dt) = Ex∼panc(·|Dt,c)Em∼pmask(·|η,ρ)[qϕ(·|x,m,c)]로 정의된다. 정책 π은 st에서 a를 샘플링하고, gated로 Admit St를 얻어 pool P에 누적한 뒤 K 스텝마다 ∆dUK,ψ(Dt, P) > τ + ϵt를 만족하면 Dt ← Dt ∪ P로 업데이트한다. Focused plug-in loss는 Lbψ(Dt) = 1/|Qhard| ∑ℓ(fψ(Dt)(x), y)로 정의되며, ∆dUψ(Dt,S) = Lbψ(Dt) − Lbψ(Dt ∪ S)로 샘플의 가치가 정량화된다. 정책 업데이트는 KL규제 하의 preference 학습으로 이루어지며, zt ∈ {+1, −1, ∅}의 이진 피드백으로 이루어진다. 정책 네트워크는 화면형 구조를 가지며 c, η, ρ의 결합으로 확률을 산출한다. 이때 ρ는 [0,1] 구간의 연속 변수이며, 0.0~1.0 사이로 클램핑한다. 안전성 보장을 위한 커밋은 Theorem 3.1으로 제시되며, 오차 바 ϵt를 보정하면 커밋된 풀이 ∆U(Dt, P(K)t)≥τ를 보장한다.

본 연구는 sequential injection의 오버헤드가 존재한다는 점이 한계로 지적되며, ϵt의 보정 정확도에 의존한다. 또한 TabPFN 기반 평가기가 정책 학습에 사용되므로, estimator의 특성에 따른 편향 가능성이 존재한다.