스프레드시트에서의 다음 액션 예측을 위한 벤치마크와 프레임워크

스프레드시트는 다양한 셀 조작과 포맷팅으로 구성된 고도 복잡한 UI를 가지며, 자동완성의 도입이 코드 에디터 수준의 보조로 확장될 가능성이 있다. 본 연구는 이러한 자동화 보조를 실제 업무 환경에서 평가하기 위한 벤치마크와 온라인 평가 프레임워크를 제시함으로써, 모델-시스템 간 비교 가능성과 사용자 유틸리티를 함께 측정할 수 있는 체계를 제공한다. 이를 통해 차세대 스프레드시트 보조 시스템의 개발 방향성(정교한 abstention, 트리거 설계, 컨텍스트 활용의 효율성 등)을 구체적으로 도출할 수 있다.

출발점: 스프레드시트의 액션은 위치, 속성, 범위 등 다양한 차원을 갖는 복합적 시퀀스이며, 한 번의 예측이 이후 작업의 선택에 영향을 미친다. 전통적 코드 자동완성처럼 단순한 다음 토큰 예측만으로는 충분치 않다. 해결 원리: Symbolic Cold-Start로 초기 시퀀스를 생성하고, LLM을 통한 정제/자연스러운 순서를 부여한 후 인간 주석으로 다듬는다. 온라인 평가 프레임워크는 예측의 수락 여부에 따라 ground-truth를 동적으로 업데이트하여 누적된 상태 변화를 반영한다. 달라지는 점: 더 강한 모델은 더 많은 작업을 절약할 수 있지만, abstention이 필요하며, 컨텍스트 길이와 예측 길이가 유효한 트레이드오프를 형성한다. 실험은 GPT-5 계열과 SmolLM 계열의 차이를 비교하고, GREEDY/ P90/P100 등의 수락 휴리스틱이 UAS에 미치는 영향을 보여준다.

전체 접근 방식은(1) 데이터 생성 파이프라인, (2) 온라인 평가 인터페이스, (3) 벤치마크 솔버의 구성으로 나뉜다. 데이터 파이프라인은 symbolic cold-start로 시작해 인접한 동일 연산의 병합(예: font(A1) + font(A2) → font(A1:A2))과 region 간 회전 없이 재배치하는 과정을 거친다. 이후 LLM refinement를 거쳐 자연스러운 순서를 얻고, 인간 주석으로 마지막 다듬음을 진행한다. 온라인 평가 인터페이스는 ground truth를 매 단계 업데이트하고, 예측의 수락 여부에 따라 남은 미래를 재구성한다. 벤치마크 솔버는 Zero-shot LLM, Fine-tuned SLM, Classical 모델, Online n-gram 등을 포괄하며, s(Stride), c(Context Window), m(Max actions per prediction) 등의 하이퍼파라미터를 조정한다. 수식/개념 패턴: predict(history, state) → P를 도출하고, P가 수락되면 S를 업데이트하며, F를 업데이트하고, 필요한 경우 F′를 패치한다. 평가 지표로는 UAS, AR, PREC, PCOV 등을 사용한다.

주요 결과는 다음과 같다. 단일-액션 재예측 설정에서 GPT-5 계열은 GPT-5-R이 32.7%의 UAS, 29.4%의 AR, 41.6%의 PREC, 24.8%의 PCOV를 달성하고, GPT-5는 27.4%의 UAS, 30.9%의 AR, 44.8%의 PREC, 20.7%의 PCOV를 보였다. Fine-tuned SmolLM2-360M은 26.8%의 UAS, 26.8%의 AR, 33.7%의 PREC, 13.7%의 PCOV를 기록했다. Online n-gram은 12.0%의 UAS를 달성했다. 다중-액션 설정(GREEDY 방식)에서 GPT-5 계열의 UAS은 22.326.6% 범위로 나타났고, Multi-action에서 AR는 20.030.9% 범위, PREC는 36.0~44.8% 범위를 보였다. Context window를 32에서 128로 확장하면 UAS가 22.3%에서 27.6%로 증가하나 512/2048에서는 증가가 소폭에 그쳤다. Max actions(m)로 1일 때는 UAS가 20.3%로 감소하는 반면, 무제한(m=∞)은 22.3%로 유지된다. Prediction 길이가 길수록 수락률이 증가하는 경향이 있으며, 초기 trajectory에서의 예측은 낮은 수락률을 보이고, 진행될수록 수락률이 상승한다. 참고로 ALWAYS 휴리스틱은 전체 예측을 수락하더라도 유효성은 떨어진다. 이 결과는 abstention과 적절한 트리거 설계가 실질적 유용성에 큰 영향을 준다는 것을 시사한다.

아키텍처는(1) 데이터 생성 파이프라인, (2) 온라인 평가 인터페이스, (3) 솔버 평가와 학습 시스템으로 구성된다. 데이터 파이프라인은 시트의 Regions 및 Pasted Regions를 VLM으로 주석하고, 이후 Symbolic Trajectory를 생성한다. 이후 LLM Refinement로 순서를 자연스럽게 다듬고, Human Refinement로 최종 trajectory를 보정한다. 학습은 두 SmolLM2 계열(135M, 360M)을 사용하며, 11,997개의 공개 워크북으로 causal LM 목표로 파인 튜닝한다. 평가 설정은 Multi-action과 Single-action repredict 두 가지로 나뉘며, GREEDY, P90, P60 등의 휴리스틱으로 수락 여부를 결정한다. Shared featurizer는 op-type, range geometry, value-type을 포함한 5개 필드를 사용하며, absolute(relative) 모드에서 각각의 벡터를 구성한다. Training은 32-context window를 사용하고, 2048 tokens 길이의 시퀀스로 학습한다. Ground-truth 적응은 예측이 수락될 때 남은 future를 재구성하고, 필요하면 inverse 작업을 추가해 수정한다. 평가 지표로 UAS, AR, PREC, PCOV를 제시한다.