한 번 증류, 평생 적응: Dataset Distillation을 활용한 Continual Test-Time Adaptation

배포 환경에서는 원본 소스 데이터를 보관하기 어려워 장기간 무라벨 적응(CTTA)에서 모델이 자체 학습 오류와 망각을 누적해 성능이 하락한다. DO-ALL은 사전 한 번의 Dataset Distillation로 소스 정보를 소형 합성 앵커로 압축해 배포하고, 테스트 시 각 타깃 샘플과 의미적으로 대응되는 앵커를 참조해 적응을 안정화한다.

문제 출발점과 기존 한계: Continual Test-Time Adaptation(CTTA)은 라벨 없는 순차적 타깃 스트림에서 온라인으로 모델을 갱신해 성능을 유지하는 설정이다. 소스 데이터를 배포 시 보관할 수 없는 환경에서는 source-free 방식으로 적응하는데, 이때 자기학습(self-training) 신호가 점차 신뢰성을 잃고 반복적 업데이트가 누적되면 catastrophic forgetting과 표현 drift가 발생한다. 즉, 타깃 스트림만으로는 시간에 따라 모델의 표현이 소스 기준에서 멀어져 장기 안정성을 확보하기 어렵다.

전체 접근과 핵심 아이디어: DO-ALL은 배포 전 단 한 번 Dataset Distillation(DD)을 수행해 소스 분포를 소수의 합성 샘플(anchors)으로 압축하고, 각 앵커에 합성 입력, 소스 모델의 soft label, 그리고 소스 백본의 latent feature를 함께 저장한다. 테스트 시에는 각 타깃 샘플을 가장 의미적으로 가까운 앵커와 매칭해 해당 앵커를 기준으로 여러 형태의 규제를 적용해 적응을 안정화한다. 핵심 메커니즘—앵커 구성 및 연관화: 앵커 집합 {A}={a}{i}={x}{i},{s}{i},{z}{i}를 준비한다. 테스트 배치의 각 타깃 x^{t}{b}에 대해 특징 z^{t}{b}=g_{ heta}(x^{t}{b})를 계산하고, 앵커 특징들과의 코사인 유사도 sim(b,i)=z^{t}{b}3{z}{i}/({|}\cdot|)을 통해 j=argmax_i sim(b,i)를 선택해 연관 앵커 {a}^{t}{b}를 부여한다. 이렇게 모아진 {A}^{t}는 배치 수준의 소스 참조로 사용된다. 앵커 기반 적응 손실: (1) Direct replay: 입력으로 앵커 합성 샘플 {x}{b}와 저장된 soft label {s}{b}이 주어지면, 모델 출력 f_{ heta}({x}{b})에 softmax(f{ heta}({x}{b})/{eta}{s})를 취하고 soft label 쪽 softmax({s}{b}/{eta}{s})와 KL을 계산해 {L}{dir}을 얻는다. 이 값은 모델의 예측이 소스 소프트 라벨과 얼마나 일치하는지를 수치로 표현한다. (2) MixUp replay: 입력으로 타깃 x^{t}{b}와 매칭 앵커 {x}{b}를 받고 {\lambda}\sim Beta({\alpha},\alpha)로 섞어 x^{m}{b}={\lambda}x^{t}{b}+(1-{\lambda}){x}{b}를 생성하고, 대응 혼합 소프트 타깃 p^{m}{b}={\lambda}softmax(f{ heta}(x^{t}{b}))+(1-{\lambda})softmax({s}{b})를 만든 뒤 KL로 예측 일관성 {L}{mix}를 계산한다. (3) Feature alignment: 입력으로 배치의 타깃 특징과 앵커 특징을 받아 층별로 RKHS 매핑 {\phi}(\cdot) 후 기댓값 차이의 제곱 노름을 합산해 {L}{mmd}를 계산한다. 이 값은 표현 공간의 기하가 앵커 쪽과 얼마나 정렬되는지를 측정한다. Harm-adaptive blending: 각 파라미터 그룹 G에 대해 입력은 해당 그룹의 파라미터별 anchor-driven gradient g_{S}^{(p)}와 실제 파라미터 변화 {\Delta\theta}^{(p)}이다. 연산으로 내적 {\langle g_{S}^{(p)},\Delta\theta^{(p)}\rangle}와 평균 제곱 그래디언트 {\hat{h}^{(p)}}({\Delta\theta}^{(p)})^{2}/2를 더해 score(G)를 얻고, 이 score가 임계치 {\rho}를 넘으면 그룹별 비율 {\beta_{G}}로 현재 파라미터를 source 초기값 쪽으로 블렌딩해 유해한 드리프트를 부분 복원한다.

메인 벤치마크 결과(Imagenet-C): ImageNet-to-ImageNet-C(심각도 5, 온라인 적응)에서 DO-ALL은 여러 CTTA 기반법에 일관된 개선을 제공했다. 예: EATA 기준 평균 오류율이 58.0%에서 EATA+DO-ALL은 56.6%로 감소했고, RMT는 59.8%→57.4%, ROID는 54.5%→53.6%로 개선됐다(표 2 참조). CIFAR100-C 결과는 보충 자료에 수록되어 있으며 유사한 경향이 관찰됐다. 장기간 스트림(CCC) 결과: CCC 벤치마크(장기 연속 스트림)에서 ROID의 평균 정확도는 33.6%였고 ROID+DO-ALL은 34.7%로 상승했다. 특히 Hard 시나리오에서 ROID는 13.2% 정확도를 보였고 DO-ALL 추가로 15.5%로 향상됐다(표 3). 구성요소별 절삭(ablation): 개별 구성요소인 Replay( {L}{dir} ), MixUp( {L}{mix} ), MMD( {L}_{mmd} )는 모두 소폭의 이득을 보였고, 이들을 결합하면 추가 개선이 발생했다. Harm-adaptive blending을 포함한 전체 DO-ALL(모든 구성요소)은 평균 오류를 54.5%에서 53.6%로 가장 크게 낮췄다(표 4). 효율성·실용성: 앵커 생성은 배포 전 오프라인으로 수행되며 테스트시에는 앵커 연산을 stride-k로 희석해 오버헤드를 줄일 수 있다. 예시: ROID 기준 baseline FPS 284.9, GPU 메모리 9.32GB였고 DO-ALL stride-1은 FPS 106.3, GPU 메모리 15.94GB, 앵커 저장공간 1.55GB(호스트)로 보고됐다. stride-7에서도 오류는 대부분 유지되어 정확도-효율성 트레이드오프가 양호했다(표 6).

전체 아키텍처 구조: DO-ALL은 소스 모델 f_{\theta_{0}}를 기준으로 배포 전 DD를 수행해 앵커 집합 \tilde{\mathcal{A}}를 생성한다. 각 앵커는 합성 입력 \tilde{x}{i}, 소스 모델 soft label \tilde{s}{i}=f_{\theta_{0}}(\tilde{x}{i}), 그리고 소스 백본의 latent feature \tilde{z}{i}=g_{\theta_{0}}(\tilde{x}_{i})를 포함한다. 배포 후 CTTA 루프에서는 기본 CTTA 목표(예: entropy minimization, teacher-student consistency 등)에 DO-ALL의 앵커 기반 항을 추가해 업데이트를 수행한다.

논문에 명시된 한계: (1) 앵커 선택과 업데이트 스케줄 최적화는 추가 연구가 필요하다고 명시되어 있다. (2) abrupt하거나 adversarial한 급격한 도메인 변동에 대한 강건성은 추가 검증 대상이라고 명시되어 있다.