Spreadsheet-RL: 현실적인 스프레드시트 작업에서 대형 언어 모델 에이전트를 강화학습으로 발전시키다

스프레드시트는 데이터 중심 워크플로의 핵심 도구로, 실세계의 복잡한 다단계 작업을 자동화하려면 단일 명령어가 아닌 다수의 연산과 레이아웃 변화가 필요하다. Spreadsheet-RL은 Excel 환경에서의 온-폴리시 RL 파인튜닝을 통해 스프레드시트 작업의 장기 흐름을 다루는 정책을 학습하고, 도메인 지식이 필요한 작업에서도 일반화 성능을 높인다. 데이터 수집 파이프라인과 Excel 런타임 하니스, 그리고 도메인 벤치마크 Domain-Spreadsheet의 공개로 재현성과 확장이 가능해졌다.

출발점: 일반적인 LLM 프롬프트 기반 스프레드시트 접근은 다단계 워크플로우를 안정적으로 다루지 못한다. 기초 아이디어: 다-turn 의사소통과 도구 사용을 결합한 on-policy RL로, 환경으로부터 얻은 실행 결과를 바탕으로 정책을 점진적으로 개선한다. 해결 원리: Spreadsheet-RL은 (1) Spreadsheet Data Agent로 대규모 현실적 데이터 생성, (2) Spreadsheet Gym에서 Excel 런타임과 도구 세트를 제공하는 하니스, (3) GRPO 기반 비평가적 보상으로 정책을 안전하게 업데이트하는 체계를 제시한다. 달라지는 점: 스프레드시트 특성상 단순 성공/실패 신호가 부족하므로, 롤아웃마다 보상 신호를 얻고 이를 기반으로 정책을 조정하는 방식이 학습 효율을 크게 올린다. 결과적으로, 같은 4B 모델에서도 프롬프트 중심 접근보다 더 높은 Task 성공률과 워크플로 효율을 달성한다.

전체 접근 은 세 부분으로 구성된다. 첫째, Task Generation with Spreadsheet Data Agent에 의해 seed 메타데이터를 수집하고 Oracle Final Spreadsheet를 구성한다. 둘째, Spreadsheet Gym은 실제 Microsoft Excel 환경에서 다-turn 상호작용을 가능하게 하는 런타임과 각종 도구를 제공하는 하니스이며, Read-only inspection과 Write 작업을 안전하게 분리한다. 셋째, GRPO 기반의 비판적 학습 파이프라인은 정책 πθ를 갱신하는데 사용되며, 보상은 Dpred와 Do의 영역이 일치하는지에 따라 결정된다. 계산 흐름의 핵심은 입력 Di, T를 받아 y_i를 생성하고, πθ(y_i|Di,T;G)와 πold(y_i|Di,T;G)의 비율 ri(θ)를 정의하고, 이 값을 이용해 샘플의 기대치를 최대화하는 것이다. 보상 R(o)는 출력이 유효하면 Dpred와 Do의 일치 여부를 통해 결정되고, 실패 시 0으로 처리된다. GRPO의 업데이트는 그룹 상대 이점과 KL 제약을 사용해 다양성과 안정성을 동시에 추구한다. 학습은 60 단계의 실험 설정으로 진행되며, 4B 규모의 Qwen 모델을 사용한다. Granularity를 위해 per-rollout 파일 시스템 격리를 도입하고 Excel 기반 재계산을 비동기로 수행한다.

주요 벤치마크에서의 성능 향상은 다음과 같다. SpreadsheetBench에서 Qwen3-4B-Thinking-2507의 Pass@1이 12.0%에서 Spreadsheet-RL 후 23.4%로 증가했다. 도메인 벤치마크 Domain-Spreadsheet에서의 전체 Pass@1은 8.4%에서 17.2%로 상승했다. RL 훈련 과정에서 보상 평균은 0.21에서 0.33으로 상승했고, 응답 길이는 약 16k에서 11k로 감소하며 상호작용 횟수도 약 20에서 11로 감소했다. 이러한 결과는 RL 후반에서 Task 성공률 증가뿐 아니라 워크북 편집의 효율성 증가를 시사한다.

전체 아키텍처는 Spreadsheet Data Agent, Spreadsheet Gym, Spreadsheet Native Tool Harness로 구성된다. Spreadsheet Data Agent는 seed 메타데이터를 수집하고 Oracle DO를 생성하기 위해 Coding Agent(예: Claude Code, Codex)로 초기 워크북을 실행한다. Spreadsheet Gym은 실제 Excel 365 런타임을 사용하며 per-rollout workspace를 통해 동시 실행 간의 파일 간섭을 방지한다. Harness Prompt는 역할, 도구 라우팅 규칙, 동시 읽기/쓰기 호출 규칙을 명시한다. 학습 목표 L_GRPO(θ)는 아래와 같이 정의된다. L_GRPO(θ) = E_{Di,T} [ (1/N) Σ_{i=1}^N min( ri(θ) A_i, clip(ri(θ), 1−ε, 1+ε) A_i ) ] − β D_KL(πθ ∥ πold). ri(θ) = πθ(y_i | Di,T; G) / πold(y_i | Di,T; G). 여기서 A_i는 그룹 상대 이점이며, ε은 클리핑 임계값이다. 이 식은 다양한 추론 전략의 탐색을 허용하면서도, 학습이 동료들 대비 개선되도록 안정성을 확보한다. 보상 함수 R(o)는 Dpred가 Do와 일치하는 경우에만 1을 주고, 그렇지 않으면 0을 준다. Spreadsheet Gym의 보상은 Excel에서 재계산을 수행한 뒤 도출된 값과 오커럴의 값을 비교하여 확인한다. 학습 데이터는 일반화 평가를 위한 Domain-Spreadsheet를 포함해 5928개의 고품질 샘플로 구성되며, 각 샘플은 Task Instruction, Initial Spreadsheets, Oracle Final Spreadsheet로 구성된다. 60 스텝의 학습은 4x NVIDIA H100에서 수행되며, 총 40시간의 wall-clock 시간을 필요로 한다. A.11 Verifier API를 통해 비동기 보상 계산을 수행하며, 보상은 0/1 이진값으로 산출된다. A.12 GRPO 목표는 응답 yi들의 군별 상대 이익과 π θ와 πold 간 KL 제약을 포함하는 구조로 설정된다. A.14 학습 하이퍼파라미터는 4k 토큰 길이의 프롬트/응답, 온도0.6, top-p 0.95, top-k 20, 배치 64, 롤아웃 N=16, 최대 어시스턴트 턴 20, 학습률 1e-6, KL 손실 0.001, 60 스텝 학습으로 진행된다.

A.1에서 기술한 한계로, 현재 실험은 경량 모델에 집중되며 대규모dense 모델이나 MoE 모델에 대한 확장은 향후 연구 과제로 남아 있다. A.2에서 SheetAgent 재현이 직접적인 벤치마크 비교에 포함되기 어렵고, 도메인-스프레드시트의 완전한 재현은 아직 진행 중이다.