궤적 유도 선호도 최적화를 통한 모바일 GUI 에이전트의 개인정보 보호 개인화

기존 모바일 GUI 에이전트는 단순히 작업 성공률에만 집중하여 사용자의 개인정보 보호 성향을 간과하는 문제가 있었다. 이 논문은 사용자의 페르소나에 따라 앱 조작 경로가 달라져야 함을 정의하고, 이를 효과적으로 학습할 수 있는 TIPO 기법을 제안하여 개인화된 AI 비서 구현의 새로운 방향을 제시한다.

기존의 선호도 최적화 방식인 DPO는 두 응답의 길이가 비슷하고 구조가 균일하다는 가정하에 모든 토큰에 동일한 가중치를 부여한다. 하지만 모바일 GUI 조작의 경우, 개인정보를 중시하는 사용자는 보안 설정을 확인하는 추가 단계를 거치는 반면, 효율을 중시하는 사용자는 이를 건너뛰므로 두 실행 경로의 길이와 구조가 근본적으로 달라진다.

이러한 구조적 불일치 상황에서 표준 DPO를 적용하면, 단순히 길이를 맞추기 위해 삽입된 의미 없는 패딩(Padding) 토큰들이 학습 신호를 오염시키거나, 정작 중요한 개인정보 관련 결정 단계가 수많은 일반 조작 단계에 묻혀버리는 문제가 발생한다. 이는 모델이 사용자의 진정한 의도보다는 데이터의 형식적 특성에만 맞추게 되는 결과를 초래한다.

TIPO는 이를 해결하기 위해 각 단계가 페르소나를 구분하는 데 얼마나 중요한지를 계산하여 가중치를 차등 부여한다. 또한 패딩으로 인해 발생하는 노이즈를 게이팅 메커니즘으로 차단함으로써, 모델이 긴 조작 과정 중에서도 사용자의 성향이 드러나는 결정적인 순간에 집중하여 학습하도록 유도한다.

TIPO는 궤적 수준의 비교를 단계별(Step-wise) 선호도 신호로 분해하여 처리한다. 먼저 가변 길이의 두 궤적을 비교 가능하도록 no_action 토큰을 삽입하여 길이를 정렬한 후, 각 단계에서의 로그 확률 차이를 기반으로 손실 함수를 계산한다.

선호도 강도 가중치(Preference-intensity weighting)는 각 단계의 행동이 페르소나 변별력을 얼마나 가지는지 수치화한다. [두 궤적의 해당 단계 행동 점수 차이를 입력으로] → [최대 점수 차이로 나누어 정규화하고 지수 감도를 적용해] → [0에서 1 사이의 가중치 alpha를 얻고] → [이 값이 클수록 해당 단계의 학습 반영 비중을 높인다].

패딩 게이팅(Padding gating)은 정렬 과정에서 발생한 가짜 데이터를 걸러낸다. [선택된 궤적의 현재 단계가 no_action인지 확인하여] → [0 또는 1의 게이트 값 m을 할당하고] → [이를 손실 함수에 곱해] → [패딩 토큰에서 발생하는 기울기(Gradient)가 모델 업데이트에 영향을 주지 않도록 차단한다].

Privacy Preference 데이터셋 실험 결과, TIPO는 기존 DPO 대비 월등한 성능 향상을 보였다. 작업 성공률(SR)은 65.60%를 유지하면서도, 페르소나 준수 성능을 나타내는 Compliance 점수에서 DPO(31.94)보다 높은 46.22를 기록했다.

페르소나 변별력(PD) 지표에서도 66.67%를 달성하여 SFT(59.26%)나 DPO(59.26%)를 크게 앞질렀다. 이는 TIPO가 단순히 작업을 잘 수행할 뿐만 아니라, 사용자가 설정한 개인정보 보호 성향에 맞춰 행동을 명확하게 차별화할 수 있음을 입증한다.

Ablation Study를 통해 선호도 가중치와 패딩 게이팅이 상호 보완적임을 확인했다. 가중치를 제거할 경우 Compliance가 38.93으로 하락했으며, 게이팅을 제거할 경우 PD가 62.96%로 떨어져 두 메커니즘 모두 안정적인 개인화 학습에 필수적임이 증명됐다.

TIPO는 Qwen2.5VL-3B를 백본 모델로 사용하며, Planner-Executor 패러다임을 채택하여 시각적 관찰과 XML 구조를 동시에 처리한다. 궤적 정렬 시 LLM을 활용해 분기점(Divergence point)을 식별하고 수동 검증을 거쳐 데이터 품질을 확보했다.

수학적으로 TIPO의 목적 함수는 단계별 DPO 손실에 가중치 alpha와 게이트 m을 결합한 형태다. 이는 시퀀스 전체의 평균적인 차이만을 보던 기존 방식과 달리, 각 타임스텝 t에서의 정책 모델과 참조 모델 간의 로그 확률 비율을 개별적으로 최적화할 수 있게 한다.

학습 시에는 작업 성공률을 저해하지 않기 위해 SFT(Supervised Fine-Tuning)를 먼저 수행한 후 TIPO를 적용하는 2단계 전략을 사용한다. 이를 통해 에이전트는 앱 조작 능력과 사용자 성향 맞춤 능력을 동시에 갖추게 된다.

TIPO는 주로 궤적 수준의 페르소나 정렬을 개선하는 데 집중하며, 모바일 GUI 에이전트의 근본적인 그라운딩(Grounding) 능력이나 장기 계획(Long-horizon planning) 능력 자체를 획기적으로 높이지는 못한다는 한계가 있다.