Turnstile: 에이전트 상호작용에서 토큰 단위 롤아웃을 캡처해 RL 학습 신호를 정확히 연결하는 Rust 프록시

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

강화학습으로 에이전트형 상호작용을 개선하려면 모델이 실제로 본 토큰 시퀀스와 일치하는 기록이 필요한데 하네스가 생성하는 전사에서는 포맷·요약·캐시로 인해 토큰 레벨 불일치가 발생해 학습 신호가 왜곡된다. Turnstile은 에이전트 하네스와 추론 백엔드 사이에 Rust 기반 프록시를 두어 생성 시점에 토큰 IDs, per-token logprob, 손실 마스크, 가중치 버전 경계, 선택적으로 MoE 라우팅과 처리된 이미지 피처를 캡처해 framework-중립적인 TrainingSequence로 내보낸다. 접두사 인식 멀티턴 병합과 불일치 시 트래젝토리 분리 전략을 통해 트레이너가 실제 행동 정책이 본 컨텍스트로만 학습하도록 보장하며, 멀티모달 실험에서 평균 보상이 약 0.2에서 0.71로 상승한 결과가 관찰되어 실용적 효과가 확인되었다. 구현은 Rust 코어·SGLang 백엔드·Python 바인딩을 포함하며 vLLM 지원과 추가 어댑터가 향후 계획으로 제시되었다.

빠른 이해

새로운 점

에이전트 하네스에 손대지 않고 생성 시점의 토큰·logprob·라우팅·이미지 처리 결과를 캡처해 RL 트레이닝에 직접 연결하는 실용적 프록시 접근법이 제시되었다.

핵심 메커니즘

하네스는 평소대로 Chat Completions API로 요청을 보내고 Turnstile 프록시가 요청을 백엔드로 전달하면서 모델이 샘플한 토큰 IDs·per-token logprobs·loss masks·(옵션)MoE 라우팅과 처리된 이미지 피처를 기록해 framework-중립적 TrainingSequence로 내보낸다.

핵심 수치

mean reward per prompt: ≈0.2 → ≈0.71- 증가가 대략 165 롤아웃 스텝에 걸쳐 관찰됨

섹션별 상세

문제 정의와 필요성

강화학습 기반으로 언어 모델을 개선하려면 모델이 실제로 본 토큰 시퀀스를 정확하게 재현한 기록이 필요하나, 에이전트 하네스가 생성하는 텍스트 전사에는 포맷·캐시·요약 등으로 인해 토큰 레벨 차이가 존재해 학습 타깃이 어긋나는 문제가 발생한다. 동일한 렌더된 문자열이라도 토크나이저 구현·공백·챗 템플릿 차이로 서로 다른 토큰 ID를 만들 수 있으며, 그런 재토큰화 드리프트가 정책 그레이디언트 계산을 왜곡한다고 본문이 설명했다. 따라서 트레이너는 트랜스크립트가 아니라 생성 시점의 토큰 네이티브 기록을 필요로 하며, 그 공백을 메우는 것이 본 작업의 핵심 동기이다.

토큰 불일치의 원인과 영향

토크나이저는 결정적 함수이지만 텍스트 포맷·JSON 표기·챗 템플릿의 미세한 변화로 인해 동일 텍스트에서도 서로 다른 ID열을 생성할 수 있다. 에이전트 하네스는 문맥을 압축하거나 재시도, 서브에이전트 합병, 히스토리 요약 같은 동작을 수행하므로 하네스가 기록한 전사는 대화의 인간 가독적 흐름을 보존하더라도 모델이 실제로 본 토큰 흐름과 일치하지 않을 가능성이 크다. 정책 그래디언트 기반의 RL은 행동 정책이 실제로 본 컨텍스트를 기준으로 수학적으로 성립하므로 토큰 불일치는 보이지 않게 학습 신호를 약화시키며, 잘못된 최적화 결과를 초래할 수 있다.

Turnstile의 설계 원칙과 동작 흐름

Turnstile은 에이전트 하네스와 추론 백엔드 사이에 프록시로 위치해 모델이 샘플링한 토큰 IDs와 per-token logprob, 손실 마스크, 가중치 버전 경계 등을 생성 시점에 기록한다. 프록시는 기존 Chat Completions API와 호환되므로 하네스를 수정할 필요가 없고, 요청은 Turnstile을 거쳐 백엔드로 전달되면서 동시에 정확한 모델-대면 상태가 캡처된다. 캡처한 데이터는 framework-중립적인 TrainingSequence 형식으로 내보내져 기존 RL 트레이닝 파이프라인에 어댑터로 연결할 수 있게 설계되었다.

API와 사용 예시

Turnstile은 그룹 단위 캡처를 지원하며 사용자는 프록시 인스턴스를 생성해 하네스의 Chat Completions 클라이언트 base_url을 Turnstile이 제공하는 주소로 지정하면 된다. 예시 코드에서는 create_group로 최대 토큰 길이를 설정한 뒤 평소처럼 client.chat.completions.create를 호출하고, 롤아웃 종료 후 get_training_sequences로 TrainingSequence들을 회수하는 흐름이 제시되어 있다. 이 방식은 하네스의 내부 제어 흐름이나 상태를 알 필요 없이 토큰 네이티브 데이터를 얻는 실용적인 작업 흐름을 제공한다.

python

from openai import OpenAI
import turnstile

with turnstile.Proxy(
    backend_url="http://localhost:30000",
    model="Qwen/Qwen3-1.7B",
) as proxy:
    group_id = proxy.create_group(max_trajectory_tokens=4096)
    client = OpenAI(
        base_url=f"http://{proxy.addr}/group/{group_id}/v1",
        api_key="-",
    )
    client.chat.completions.create(
        model="Qwen/Qwen3-1.7B",
        messages=[{"role": "user", "content": "Solve this Python task."}],
    )
    sequences = proxy.get_training_sequences(group_id)

이 코드는 기존 Chat Completions 클라이언트를 Turnstile 프록시로 향하게 하여 그룹 단위로 롤아웃을 캡처하고, 완료 후에 토큰 기반의 TrainingSequence들을 회수하는 사용 예시이다.

접두사 인식 멀티턴 트래젝토리 처리

Turnstile은 단순히 각 요청을 독립 샘플로 저장하지 않고 토큰 레벨에서 이전 요청의 접두사와 일치하는지를 확인해 동일한 토큰 접두사가 유지되면 멀티턴 롤아웃을 하나의 성장하는 토큰 경로로 병합한다. 만약 하네스가 히스토리를 재작성하거나 토큰 레벨에서 접두사가 불일치하면 Turnstile은 새 시퀀스를 시작해 '트래젝토리 폭발'을 허용함으로써 잘못된 학습 신호를 줄이는 쪽을 택한다. 이 설계는 저장 효율성을 최우선으로 하지 않고, 트레이너에 절대 거짓을 주지 않는 것을 목표로 하며 그 대가는 중복 토큰의 증가일 수 있다는 점을 명확히 한다.

MoE 라우팅 캡처와 재현성 보장

Mixture-of-Experts 모델에서는 동일 토큰 ID라도 각 레이어의 라우터 결정에 따라 활성화되는 전문가 집합이 달라지므로 토큰 일치만으로는 재현성이 보장되지 않는다. Turnstile은 MoE 캡처가 활성화되면 추론 백엔드로부터 라우팅 트레이스를 요청해 토큰과 함께 저장하고, 이후 접두사 확장 시 이전 라우팅과 대조해 불일치가 발견되면 트래젝토리를 분리하도록 설계했다. 이렇게 하면 캐시 미스나 재계산으로 인해 라우팅이 변한 경우 잘못된 라우팅 아래에서 학습하지 않도록 보장하며, 라우팅 추적은 MoE 기반 RL에서 신뢰성 있는 학습 신호를 확보하는 핵심 수단이 된다.

멀티모달 입력 처리와 이미지 처리 통합

비전-언어 모델의 경우 모델은 업로드된 이미지의 원시 바이트가 아니라 이미지 프로세서가 출력한 픽셀 특성 또는 플레이스홀더 토큰을 보게 되므로 같은 이미지 바이트도 프로세서 버전·리사이즈 정책·패치 기법에 따라 다른 처리 결과를 낳을 수 있다. Turnstile은 이미지가 포함된 요청을 만났을 때 원본 바이트를 해시·저장하고 모델에 구성된 프로세서를 실행해 처리된 이미지 피처를 시퀀스에 함께 녹여 내보낸다. 이렇게 내보낸 시퀀스는 원시 바이트와 처리된 피처를 모두 포함하므로 트레이너가 필요한 형태를 골라 쓰고, 이미지 재처리로 인한 시각적 접두사 불일치 문제를 회피할 수 있다.

text

class TrainingSequence:
    tokens: list[int]
    logprobs: list[float]
    segment_info: list[tuple[bool, int]]
    weight_versions: list[tuple[int, str]]
    routed_experts: str | None
    images: list[TrainingImage]
    processed_images: list[TrainingProcessedImage]

이 자료구조는 Turnstile가 내보내는 트레이닝 시퀀스의 필수 필드를 요약한 것으로 토큰 ID, 토큰별 logprob, 구간 정보, 가중치 버전 경계, MoE 라우팅 추적과 원본 및 처리된 이미지 정보를 포함한다.

검증 결과와 운영적 고찰

저자들은 텍스트 전용 코딩 에이전트와 멀티모달 컴퓨터 사용 에이전트를 대상으로 Turnstile을 통해 수집한 데이터로 RL 학습을 수행했고, 두 경우 모두 보상 지표가 꾸준히 개선되는 학습 신호가 관찰되었다. 멀티모달 실험에서 평균 보상은 약 0.2에서 약 0.71로 상승했으며 이 변화는 대략 165개의 롤아웃 스텝에 걸쳐 관찰되었다는 수치가 본문에 제시되었다. 구현 관점에서 현재는 Rust 코어와 SGLang 백엔드, Python 바인딩을 포함하며 향후 vLLM 백엔드와 추가 학습 프레임워크 어댑터, 확장된 멀티모달 모델 지원이 예정되어 있다고 명시되어 있다.

근거

멀티모달 실험에서 평균 보상은 약 0.2에서 약 0.71로 상승했으며 그 변화는 대략 165개의 롤아웃 스텝에 걸쳐 관찰되었다. — 멀티모달 예시 단락과 차트 설명(Mean reward per prompt rose from about 0.2 to about 0.71 over roughly 165 rollout steps).

용어 해설

Tokenizer: — 텍스트를 정수 토큰 ID 열로 변환하고 토큰 ID를 다시 텍스트로 복원하는 결정적 함수로서, 모델과 정확히 짝지어진 구현체가 필요하고 공백·포맷 차이로 인해 동일한 문자열도 서로 다른 토큰 ID를 생성할 수 있어 RL 데이터 일관성에서 핵심 요소이다.
Retokenization Drift: — 동일한 렌더된 문자열를 나중에 다시 토크나이저에 통과시켰을 때 미세한 포맷 차이로 인해 생성되는 다른 토큰 ID 시퀀스로, 행동 정책이 실제 본 생성 시 본 토큰 시퀀스와 불일치하면 RL 업데이트의 타깃이 어긋나는 원인이 된다.
Rollout: — 한 번의 과제 시도에 해당하는 기록 단위로서 초기 프롬프트, 모든 툴 호출과 피드백, 모델 응답 및 최종 결과를 포함하며 RL에서 행동 정책이 본 맥락 전체에 대해 어떻게 수행했는지를 판단하는 단위이다.
Loss Mask: — 토큰 시퀀스에서 어떤 토큰들이 모델의 출력으로서 학습 신호에 기여해야 하는지와 사용자·시스템·툴 쪽 입력으로 무시해야 하는지를 표기하는 바이너리 마스크로서 정책 그레이디언트 계산에 직접 투입된다.
MoE Routing: — Mixture-of-Experts 아키텍처에서 각 레이어의 소규모 라우터가 입력 토큰마다 활성화할 소수의 전문가(expert)를 선택하는 결정 과정으로, 동일 토큰 ID라도 라우팅이 달라지면 활성화된 파라미터 집합이 달라져 재현성에 영향을 미친다.

언급된 리소스

문서원문 링크