LongStraw: 고정 GPU 예산으로 백만 토큰급 RL 포스트트레이닝을 실행하는 아키텍처 인식 스택

LongStraw는 공유 프롬프트를 autograd 없이 평가하고 모델별로 필요한 내부 상태만 보존한 뒤 응답 브랜치를 순차적으로 재생하는 방식으로 백만 토큰급 RL 포스트트레이닝을 고정 GPU 예산에서 가능하게 한 아키텍처 인식 실행 스택이다. 이 접근은 메모리 축소와 재연산 비용을 명시적으로 트레이드오프하며 GRPO(Group Relative Policy Optimization)로 구현되어 실험에서 수백만 토큰 처리 능력을 입증했다. 구현 사례로 Qwen3.6-27B와 GLM-5.2에서 대규모 토큰 처리 검증이 수행되었다.

왜 중요한가

대규모 에이전트·대화·문서 누적 관찰을 요구하는 응용에서 추론 컨텍스트 길이는 이미 백만 토큰에 근접하고 있으나 RL 포스트트레이닝 워크로드는 여전히 훨씬 짧은 컨텍스트를 전제로 설계되는 경우가 많아 실전 적용에 갭이 생겼다. LongStraw는 이 갭을 메모리 예산 내에서 메우기 위해 실행 스택 차원에서 프롬프트 평가와 역전파 그래프를 축소하는 전략을 도입해 고정 GPU 자원으로도 백만 토큰급 학습 단계를 가능하게 했다. 이로 인해 에이전트의 긴 궤적을 학습하는 환경에서 기존 방식으로는 불가능했던 규모의 포스트트레이닝 실행이 실험적으로 확인되었다.

핵심 기여

아키텍처 인식 실행 스택 LongStraw 제안

LongStraw는 모델 아키텍처 특성을 고려해 실행 단계에서 프롬프트와 모델 내부 상태 관리 방식을 달리하는 실행 스택으로 설계되었다. 이 스택은 공유된 프롬프트의 평가를 autograd에서 분리하고 모델별로 후속 토큰에 필요한 상태만 유지함으로써 라이브 트레이닝 그래프 크기를 줄였다. 그 결과 고정 GPU 메모리 예산으로도 훨씬 긴 컨텍스트 길이를 처리할 수 있는 실행 용량을 확보했다.

Group Relative Policy Optimization(GRPO)로의 구체화

LongStraw의 개념은 Group Relative Policy Optimization(GRPO)이라는 실체화된 실행·학습 구성으로 구현되었다. GRPO는 토큰을 그룹화해 그룹별로 공유된 부분과 모델별 부분을 분리해 처리하고, 응답 브랜치를 재생해 역전파를 수행하는 방식으로 메모리 사용을 제어한다. 이 방식은 autograd로 전체 시퀀스를 유지하는 전통적 접근과 달리 저장 상태를 축소하는 대가로 재연산 비용을 받아들이는 구체적 트레이드오프를 제공한다.

응답 브랜치 재생과 모델별 상태 보존 전략

LongStraw는 응답 브랜치를 짧은 단위로 순차 재생하면서 각 재생에서 필요한 모델별 상태만 온전하게 유지하는 전략을 사용한다. 이 접근은 라이브 그래프에서 공유 프롬프트를 분리해 저장 요구량을 낮추고, 역전파 시점에 재연산으로 필요한 그래디언트를 얻는 방식으로 메모리와 계산을 교환한다. 해당 전략은 그룹 크기 확장 시에도 피크 메모리 증가를 억제하는 효과를 보였다.

대규모 모델과 하드웨어에서의 실험적 검증

구현 사례로 hybrid recurrent 및 full-attention Qwen3.6-27B와 압축 어텐션을 사용하는 mixture-of-experts GLM-5.2에 LongStraw를 적용해 실험을 수행했다. 실험 결과 8개의 H20 GPU에서 그룹화된 Qwen 스코어링과 응답 역전파를 2.1M 포지션에서 완료했으며 스트레스 테스트에서는 4.46M 포지션까지 도달했다. 또한 32개의 H20 GPU에서 GLM-5.2의 78개 레이어를 통과하는 2.1M 토큰의 end-to-end 실행 경로가 검증되었다.

핵심 아이디어 이해하기

딥러닝에서 Self-Attention 기반 모델은 시퀀스 길이에 따라 메모리와 연산이 크게 증가하는 문제가 있으며, RL 포스트트레이닝에서는 길이 일반화에 의존하는 대신 실제 긴 관찰 궤적을 직접 처리해야 하는 수요가 늘어났다. 이 논문은 긴 컨텍스트를 그대로 autograd로 유지하면 라이브 트레이닝 그래프가 메모리 한계를 초과한다는 점을 출발점으로 삼아, 공유된 프롬프트의 중간 계산을 autograd에서 분리하고 역전파 시 필요한 부분만 재연산하는 방식으로 메모리 부담을 줄이는 해결책을 제시했다. 이렇게 하면 전체 시퀀스의 모든 중간 상태를 메모리에 저장하지 않아도 되고 대신 재연산으로 그래디언트를 복원함으로써 고정된 GPU 예산으로 훨씬 긴 컨텍스트를 처리할 수 있다.

방법론

전체 접근은 아키텍처 인식 실행 스택을 설계해 처리 단위를 그룹으로 묶고 그룹 단위로 연산 경로를 분리하는 것이다. 구체적으로 공유된 프롬프트에 대한 전방 계산은 autograd에서 분리되어 저장되지 않으며, 모델별로 이후 토큰 계산에 필수적인 내부 상태만 보존한다. 응답은 짧은 브랜치 단위로 순차적으로 재생되어 각 브랜치에서 필요한 역전파를 수행하므로 라이브 그래프의 크기는 줄어들지만 재연산 시간이 증가하는 트레이드오프가 발생한다.

주요 결과

주요 실험에서 LongStraw는 8개의 H20 GPU 환경에서 Qwen 기반 파이프라인의 그룹화된 스코어링과 응답 역전파를 2.1M 포지션에서 성공적으로 완료했으며, 그룹 크기를 늘려도 피크 할당 메모리가 그룹 크기 증가에 따라 0.21GB만 추가로 증가하는 것을 관찰했다. 스트레스 테스트에서는 4.46M 포지션까지 실행 용량이 확장되었고, 32개의 H20 GPU에서는 GLM-5.2의 78개 레이어 전역에 걸쳐 2.1M 토큰의 end-to-end 실행 경로가 검증되었다. 논문은 이러한 실험 결과가 '실행 용량(execution capacity)'을 확립한 것이지 완전한 학습적 정합성(training correctness)을 보장한 것은 아니며, 캡처된 프롬프트 상태가 분리(detached)되어 있고 일부 분산된 전방 및 그래디언트 구성 경로가 미완성 상태라고 명시했다.

기술 상세

전체 아키텍처는 '아키텍처 인식 실행 스택' 개념을 중심으로 구성되며, 입력 시퀀스를 그룹으로 묶어 공유된 프롬프트 부분과 모델별로 필요한 내부 상태를 분리 관리하는 실행 파이프라인을 포함한다. 공유된 프롬프트의 전방 연산은 autograd에서 분리되어 저장되지 않으며, 역전파를 위해서는 각 응답 브랜치를 별도로 재연산해 필요한 그래디언트를 복원한다. 이 구조는 메모리 사용량을 감소시키는 대신 재연산(리플레이) 비용을 도입하는 명확한 트레이드오프를 수반한다.

한계점

논문은 제시된 실험이 '실행 용량'을 확립하는 데 초점을 맞추었으며 완전한 학습적 정합성을 보장하지 않는다고 명시했다. 그 이유는 캡처된 프롬프트 상태가 autograd에서 분리(detached)되어 있고 일부 분산된 전방 및 그래디언트 구성 경로가 아직 완성되지 않았기 때문이다. 따라서 LongStraw의 결과는 대규모 컨텍스트의 실행 가능성을 입증했지만 실제 학습 결과의 완전성 검증을 위해 추가적인 분산 경로 보강과 학습적 정합성 평가가 필요하다.

실무 활용

코드 저장소가 공개되어 있어 LongStraw의 구현을 실무 시스템에 가져와 장거리 컨텍스트를 다루는 RL 포스트트레이닝 워크플로를 실험할 수 있다. 본 접근은 고정된 GPU 메모리 예산에서 긴 관찰 궤적을 처리해야 하는 에이전트 학습 파이프라인에 직접 적용 가능하며, 메모리 절감과 재연산 비용의 트레이드오프를 수용할 수 있는 환경에서 특히 유용하다. 다만 캡처된 프롬프트 상태의 분리와 일부 분산 경로의 미완으로 인해 완전한 학습 정합성 검증이 필요한 생산 환경 도입 전 추가 평가가 필요하다.

대규모 에이전트 시스템에서 수십만에서 백만 토큰에 이르는 관찰 궤적을 포스트트레이닝 단계에서 직접 처리해 정책을 갱신해야 하는 연구용 파이프라인에 적용할 수 있다. 사용자는 고정된 GPU 예산을 유지하면서도 긴 컨텍스트를 실험적으로 확장할 수 있어 대규모 대화 기록이나 도구 출력 누적을 반영한 학습이 가능하다. 구현 시 재연산 시간과 메모리 절감의 균형을 환경에 맞게 조정해야 한다.
모델 아키텍처 실험 플랫폼에서 아키텍처별 상태 유지 전략을 비교하고자 할 때 LongStraw를 베이스라인으로 사용해 autograd 분리와 재연산 트레이드오프 효과를 평가할 수 있다. 연구자는 Qwen3.6-27B나 GLM-5.2 같은 다양한 아키텍처에 동일한 실행 스택을 적용하여 실행 용량 한계를 측정할 수 있다. 이 과정에서 그룹 크기와 재연산 비용의 영향이 중요한 실험 변수로 작동한다.
연구용 프로토타입에서 고정 리소스 환경(H20 GPU 수 제한 등) 하에 대규모 컨텍스트 실험을 자동화하는 툴체인에 통합해 대규모 토큰 처리 능력을 빠르게 검증하는 용도로 활용할 수 있다. 공개된 구현을 통해 초기 설정과 하드웨어 요구사항을 재현하고, 실험 결과를 통해 프로덕션 전환 시 필요한 추가 분산 경로 보강 작업을 계획할 수 있다. 프로덕션 적용 전에는 캡처된 상태의 분리로 인한 학습 정합성 문제를 해소해야 한다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

LongStraw(실행 스택)GRPO(Group Relative Policy Optimization)long-context(장기 컨텍스트)replay(재연산 기반 역전파)compressed-attention(압축 어텐션)

용어 해설

Group Relative Policy Optimization(GRPO): — Group Relative Policy Optimization은 본문에서 LongStraw를 구체화하기 위해 사용된 학습 구성으로, 그룹 단위로 토큰을 묶어 처리하면서 공유된 프롬프트를 별도의 autograd 없이 평가하고 응답 분기를 재생하는 방식으로 메모리 사용을 줄이는 목적을 가진다.
응답 브랜치 재생(Replay Branches): — 응답 브랜치 재생은 모델의 응답 경로를 짧은 분기단위로 다시 연산하는 기법으로, 생방송 그래프(live training graph)에 필요한 상태를 작게 유지하면서도 역전파를 위해 필요한 경로를 재생해 그래디언트를 얻는 트레이드오프를 구현한다.
압축 어텐션(Compressed Attention): — Compressed Attention은 모델의 전체 시퀀스 어텐션을 완전하게 저장하지 않고 구조적·압축적 표현으로 대체해 메모리 사용을 줄이는 방법으로, 논문에서는 GLM-5.2의 혼합전문가 구조와 함께 대규모 컨텍스트 실행을 가능하게 하는 요소로 작동한다.
혼합 전문가(MoE)(Mixture-of-Experts): — Mixture-of-Experts는 서로 다른 '전문가' 서브네트워크들 중 일부만 활성화해 계산을 분산시키는 아키텍처 패턴으로, 본문에서는 압축 어텐션과 결합되어 대규모 토큰 수에 대한 실행 가능성을 보인 GLM-5.2 사례에서 사용되었다.
프롬프트 상태(Prompt State): — 프롬프트 상태는 입력 컨텍스트(프롬프트)에 대한 중간결과와 모델별 내부 상태를 포함하는 데이터로, LongStraw는 이 중에서 이후 토큰 계산에 실제로 필요한 모델별 상태만 유지하고 공유된 부분은 autograd에서 분리하여 메모리를 절감했다.

LongStraw: 고정 GPU 예산으로 백만 토큰급 RL 포스트트레이닝을 실행하는 아키텍처 인식 스택

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

ShardFlow의 WAN 분산 LLM 추론 최적화

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

ShardFlow의 WAN 분산 LLM 추론 최적화