UI-MOPD: 다중 교사 온-폴리시 증류로 교차 플랫폼 GUI 에이전트의 연속 학습을 달성

GUI 에이전트는 데스크톱과 모바일처럼 상호작용 규약이 다른 환경에서 동시에 동작해야 하며, 서로 다른 플랫폼 신호를 단순 병합하면 행동 규약이 평균화되어 성능 저하가 발생한다. 이 논문은 플랫폼별 행동을 고정하는 교사 앵커를 유지하면서 학생이 온-폴리시 샘플에서 실제로 방문하는 상태에 대해 교사 분포를 학습하게 함으로써 이러한 평균화와 망각 문제를 완화했다. 실험에서 제안 방법은 OSWorld와 MobileWorld에서 균형 잡힌 개선을 보이며 플랫폼 간 전이와 보존 사이의 트레이드오프를 실용적으로 줄였다.

멀티플랫폼 GUI 학습에서 문제의 핵심은 서로 다른 플랫폼이 동일한 목적 행동에 대해 다른 실행 규약과 행동 어휘를 가지므로 단순한 데이터 병합이 행동 평균화를 초래한다는 점이다. 이 평균화는 학생 정책이 데스크톱의 마우스·단축키 규약과 모바일의 탭·스와이프 규약을 동시에 만족시키지 못하도록 만들며, 연속 학습 상황에서는 새 플랫폼 학습 중 기존 플랫폼에 대한 망각으로 이어진다. UI-MOPD는 이러한 문제를 해결하기 위해 각 플랫폼에 특화된 교사를 별도로 학습시키고, 학생의 실제 롤아웃에 대해 플랫폼 라우팅으로 적절한 교사를 선택해 토큰 수준 확률 정합을 수행함으로써 플랫폼별 행동 앵커를 보존한다. 학생이 생성하는 샘플 분포에 대해 온-폴리시 방식으로 교사 신호를 적용하면 학생이 실제로 실수하는 상태에 밀집된 교정 신호가 전달된다. 이 방식은 오프라인 교사 추종처럼 모든 교사 모드를 맹목적으로 복제하지 않으면서도 학생의 탐색을 교사 분포로 유도해 유효한 행동으로 수렴시키는 효과를 낳는다. 또한 학생과 교사의 전체 어휘에 대해 KL을 계산하는 비용을 줄이기 위해 K3 추정기를 사용하면 토큰 샘플 기반 로그확률만으로 편향 없는 토큰 수준 KL 근사를 얻을 수 있어 확률 계산 비용과 분산을 모두 줄일 수 있다. 최종적으로 플랫폼 조건부 라우팅과 적응형 KL 마스킹을 결합하면 보상이 충분한 고성능 롤아웃에 대해서는 교사 제약을 완화하고 보상이 낮아 개선이 필요한 롤아웃에 대해서만 강한 교사 제약을 적용할 수 있다. 이 구성은 플랫폼 간 전이와 보존 사이의 트레이드오프를 제어해 단일 공유 정책이 새로운 플랫폼에 적응하면서도 기존 플랫폼의 행동 규약을 유지하게 만든다.

전체 학습은 두 단계로 구성되어 있다. 1단계에서는 Uni-GUI로 플랫폼별 감독적 미세조정을 수행해 데스크톱 교사와 모바일 교사라는 플랫폼 전용 전문 체크포인트를 얻었다. 2단계에서는 학생 정책을 온-폴리시 강화학습 루프에서 샘플링하게 하고, 각 롤아웃을 플랫폼 라벨로 분류한 뒤 해당 플랫폼 교사가 계산한 로그확률과 학생 로그확률의 토큰 수준 K3 근사를 사용해 MOPD 손실을 계산해 정책 업데이트에 포함시켰다. MOPD 손실은 미니배치 내 토큰 수준 KL 추정치의 가중 평균으로 정규화되며, 마스크 m_t는 프롬프트·패딩 토큰을 제외하고 그룹 단위의 적응형 마스크 μ^{(i)}는 동일 프롬프트 그룹의 평균 보상이 임계값 τ_KL보다 크면 교사 제약을 제거한다. 이 설계로 보상이 충분히 높은 롤아웃에서 과도한 보존 제약으로 탐색이 억제되는 것을 방지했다. K3 추정기는 샘플된 토큰 y_t에 대해 δ_t=log π_ref(y_t|h_t)-log π_θ(y_t|h_t)를 계산하고 ρ_t=exp(δ_t)로 정의해 각 토큰의 근사 KL을 ρ_t-δ_t-1로 계산한다. 이 계산은 전체 어휘를 순회하지 않고 학생·교사 로그확률 한 쌍으로 토큰 수준 KL을 무편향 추정하도록 설계되어 계산 비용을 낮췄다. 수치 불안정성 방지를 위해 δ_t는 범위 내에서 클램프했다. 정책 최적화는 토큰 수준의 클리핑된 정책 경사(clip PPO 유사)를 사용하며 보상은 행동 타입별로 요구 차원을 검사해 완전 일치에 1.0, 부분 일치에 -0.5, 무효 액션에 -1.0을 할당하는 구조화된 규칙 기반 보상이다. 전체 학습 목적함수는 정책 그라디언트 손실과 β로 조절되는 MOPD 손실의 합으로 구성되어, 장기 작업 성공률을 높이는 동시에 플랫폼별 행동 앵커를 보존하는 방향으로 파라미터를 갱신한다.

UI-MOPD는 OSWorld에서 38.2%와 MobileWorld에서 12.0%의 작업 성공률을 달성해 비교 대상인 Mixed-SFT(35.0%, 6.4%)와 모델 병합(최대 36.8%, 6.8%)보다 균형 잡힌 성능을 보였다. 본문에 제시된 상대 개선치는 OSWorld에서 기준 모델 대비 +12.7%p, MobileWorld에서 +55.8%p로 표기되어 있으며 표 비교에서 플랫폼별 전용 32B 교사들은 단일 플랫폼에서 더 높은 성능(예: 데스크톱 46.3%, 모바일 16.2%)을 보였지만 UI-MOPD는 8B 학생에서 두 플랫폼 모두 성능 향상을 달성했다. 정적 GUI 이해 능력 평가에서도 UI-MOPD는 AndroidControl 서브셋에서 78.73%에서 80.05%로 소폭 개선을 기록했고 여러 grounding 벤치마크에서 기본 모델과 유사한 점수를 유지해 파라미터 병합이 보인 강한 파괴적 영향과 대비를 이뤘다. 교사-학생 분석에서 단일 플랫폼 SFT는 다른 플랫폼 성능을 크게 저해하는 편향을 초래했는데, 예를 들어 데스크톱 SFT 후 모바일 성능이 0%로 붕괴되는 현상이 관찰되었다. 반면 UI-MOPD는 플랫폼 라우팅으로 교사 신호를 분리해 학생이 각 플랫폼에서 필요한 상호작용 규약을 보존하도록 유도했다. 추가적인 절제 실험과 케이스 스터디에서는 제안 방법이 화면 요소 위치 파악, 화면 간 네비게이션, 적절한 액션 도출 등 실무적 모바일 인터랙션 행동을 학생에게 전이한 사례들이 제시되었다.

아키텍처 관점에서 학생 모델은 단일 공유 파라미터 공간을 사용하며 출력은 도구 호출 형식의 액션 JSON이다. 각 액션은 타입, 좌표, 텍스트 등 필드를 포함하며 보상 함수는 필수 차원 일치 비율 f_a를 계산해 완전 일치, 부분 일치, 무효에 각각 1.0, -0.5, -1.0을 부여한다. 입력 컨텍스트 h_t는 환경 상태 x와 이전 생성 토큰 y_{<t}로 구성되어 토큰 수준 정책과 교사 로그확률 계산에 사용된다. MOPD 손실은 미니배치 단위로 토큰 수준 KL 추정치의 가중 평균으로 계산되며 가중치는 응답 토큰 마스크 m_t와 그룹 수준 적응형 마스크 μ^{(i)}에 의해 조절된다. 실제 계산에서 K3 추정기를 사용해 샘플된 토큰에 대해 δ_t와 ρ_t를 계산하고 근사 KL을 ρ_t-δ_t-1로 얻어 전체 어휘 정규화 비용을 피했다. 수치 안정성을 위해 δ_t는 클램핑하고 배치 내 토큰 수로 정규화해 손실을 안정화했다. 학습 알고리즘은 온-폴리시 롤아웃에서 샘플된 토큰에 대해 토큰별 우위 A_t를 구조화된 보상으로부터 계산하고, 클리핑된 정책 비율 r_t을 사용한 토큰 수준 정책 경사 ℓ_PG와 β로 스케일된 ℒ_MOPD를 합쳐 최종 손실을 최소화한다. 플랫폼 라우팅은 배치 내 샘플을 플랫폼별로 분할해 각 플랫폼 전용 교사 로그확률을 계산한 뒤 원래 순서로 병합하는 방식으로 구현되어 학습 중 추가적인 추론 모델을 필요로 하지 않는다. 구현 세부로서는 Megatron-Core를 백엔드로 verl과 SGLang 롤아웃 엔진을 사용했고, 학습은 64개의 NVIDIA H100 GPU 클러스터에서 수행되었다. 데이터 수집은 데스크톱에 Kimi-K2.6를, 모바일에 Gemini-3.1-Pro를 사용했으며 동일한 필터 파이프라인으로 정렬 및 품질 검사를 수행해 Uni-GUI를 구축했다. 평가 시 모델 서빙은 vLLM을 통해 이루어졌다.