action-prediction

행동 예측은 텍스트 토큰을 이어붙이는 대신 다음에 취할 구체적 조작(예: 특정 위치 클릭, 텍스트 입력)을 모델 출력으로 생성하는 접근법이다. 입력으로는 현재 페이지 상태와 사용자 명령을 받고 내부적으로는 시각·구조 정보를 결합해 출력으로 마우스·키보드 이벤트나 대기·탐색 같은 행동을 반환한다. LLM 기반의 텍스트 중심 접근과 달리 UI 상호작용을 직접 제어해 웹 자동화 정확도를 높이려는 목적이 있다.