이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
FuriosaAI의 Algorithm 팀은 ICML 2026에서 네 편의 논문을 발표하며 LLM 추론, 확산 기반 생성, 증류 파이프라인, RL 롤아웃 분야에서 소프트웨어와 하드웨어를 함께 최적화하는 방법을 제시했다. ReJump는 추론을 트리-점프 실행으로 모델링해 Best-of-N을 최대 9.1% 개선했고, LoSA는 활성 토큰 중심의 희소 어텐션으로 DLM의 KV 팽창을 완화해 장문 생성 확장성을 확보했다. AsyncOPD는 비동기 온-폴리시 증류로 처리량을 1.6×–3.8× 올렸고, EfficientRollout은 4비트 초안 모델과 시스템 인식 토글로 롤아웃을 최대 19.6% 가속해 end-to-end 학습을 12.7% 단축했다. 회사는 학회 기간 본사 해피아워로 100명 이상을 초청해 연구-산업 연결을 강화했다.
빠른 이해
새로운 점
하드웨어 실행, 서빙 파이프라인, 모델 아키텍처를 동시에 최적화해 시스템 차원의 성능·에너지 이득을 도출한 점.
핵심 메커니즘
모델 수준의 알고리즘적 변경(트리-점프 표현·활성 토큰 기반 희소 어텐션·비동기 증류·추측적 디코딩)과 서빙·하드웨어 실행 전략을 결합해 메모리·대역폭·대기 시간 병목을 줄이는 전(全)스택 공동최적화 방식.
핵심 수치
- ReJump Best-of-N 개선: 최대 +9.1%- reasoning 태스크에서의 Best-of-N 선택 성능 개선 수치(논문 요약).
- AsyncOPD 처리량: 1.6×–3.8×- 동기식 대비 학습 파이프라인 처리량 향상 범위(논문 요약).
- EfficientRollout 롤아웃 가속: 최대 +19.6%- 롤아웃 단계 가속 수치(논문 요약).
- EfficientRollout end-to-end 학습 가속: +12.7%- 무손실(lossless) 조건의 end-to-end 학습 단축 비율(논문 요약).
섹션별 상세
ICML 2026에서 발표한 연구 개요
FuriosaAI의 Algorithm 팀은 ICML 2026에 네 편의 논문을 발표하며 소프트웨어·서빙·하드웨어를 함께 최적화하는 'full-stack' 접근을 강조했다. 각 논문은 LLM 추론과 RL 후처리, 확산 기반 생성, 증류 파이프라인 등 서로 다른 문제 영역에서 입력·처리·출력의 흐름을 재설계해 병목을 줄이는 방법을 제안한다. 회사는 공개 벤치마크 수치(예: Best-of-N +9.1%, AsyncOPD 1.6×–3.8×, EfficientRollout 최대 롤아웃 +19.6%, end-to-end 학습 +12.7%)를 근거로 시스템 수준 이득을 제시하며 하드웨어 실행과 소프트웨어 설계의 상호작용이 중요하다고 주장하고 있다.
ReJump: 트리-점프 표현으로 추론 과정 모델링
ReJump는 LLM의 추론 과정을 선형 시퀀스가 아닌 트리 형태의 실행 경로로 보고 비인접 전이(점프)를 허용해 백트래킹과 검증, 계산 같은 복잡한 행동을 포착한다. 입력으로는 모델의 내부 추론 스텝 로그를 사용해 실행 경로를 분석하고 Best-of-N 샘플링이나 선택 전략을 개선하는 방식으로 동작하며, 결과적으로 reasoning 과제에서 Best-of-N 선택 성능을 최대 9.1% 개선했다는 수치를 제시한다. 이 접근은 단순 최종 정답 정확도만으로는 드러나지 않는 '중간 단계의 탐색·검증·과잉추론' 패턴을 진단하고 제어하는 방법을 제공하므로 복잡한 추론 모델의 신뢰도를 높이는 데 의미가 있다.
근거
- ReJump이 reasoning 과제의 Best-of-N 선택을 최대 9.1% 개선했다. — 본문의 ReJump 개요에 명시된 수치(논문 결과 요약).
LoSA: 블록 기반 확산 언어 모델의 지역성 인식 희소 어텐션
LoSA는 확산 언어 모델(DLM)에서 단계별로 누적되는 키·값 캐시의 'KV inflation'을 해결하기 위해 토큰을 활성 토큰과 안정 토큰으로 분류한다. 시스템은 안정 토큰에 대해 이전 스텝에서 계산한 prefix attention을 재사용하고 활성 토큰에만 sparse attention을 적용하는 처리 흐름을 채택해 메모리 사용과 대역폭을 줄인다. 이 설계는 비자기회귀 블록 단위 생성에서도 컨텍스트 길이가 길어져도 메모리 제약으로 인한 속도 저하를 막아 실무적 비동기 서빙과 장문 생성의 실용화를 돕는다.
근거
- LoSA가 확산 언어 모델의 KV inflation을 완화해 장문 생성에서도 메모리 병목을 방지한다. — LoSA 개요 문단과 'KV inflation' 문제 서술부.
AsyncOPD: 온-폴리시 증류의 비동기화와 구식화 분석
AsyncOPD는 rollout 생성(환경 상호작용)과 학습자 업데이트를 분리해 비동기 파이프라인으로 운영함으로써 동기식 설계에서 생기는 유휴 시간을 제거한다. 이 논문은 finite teacher-score cache 환경에서 staleness(구식화)가 학습에 미치는 영향을 분석하고 reverse-KL 추정량을 최적화하는 절차를 도입해 안정성을 유지하면서 처리량을 1.6배에서 3.8배로 높인다고 보고한다. 결과적으로 교사-학생 증류의 후처리 파이프라인에서 병목을 줄여 추론·학습 병렬화를 효율적으로 달성하는 실무적 이익을 제공한다.
근거
- AsyncOPD는 동기식 대비 학습 처리량을 1.6×–3.8× 향상시켰다. — AsyncOPD 개요에 적시된 throughput 수치와 staleness 분석 내용.
EfficientRollout: 시스템-인식 자기초안 디코딩으로 RL 롤아웃 가속
EfficientRollout은 4비트로 양자화한 self-drafting 모델, 시스템 인식(speculative decoding) 토글, 그리고 목표 정책 변화에 맞춰 초안 길이를 동적으로 조정하는 세 요소를 결합해 RL 후처리 속도를 끌어올린다. 파이프라인은 먼저 저비용 초안 모델이 롤아웃을 생성하고 고비용 검증 단계는 필요한 부분만 재생성하거나 검증하여 전체 연산을 줄이는 흐름으로 구성되며, 이로 인해 롤아웃 속도 최대 19.6% 향상과 end-to-end 학습에서 12.7%의 무손실 가속을 보고했다. 동적 적응과 양자화의 결합으로 정책 드리프트와 배치 축소 문제를 완화하여 대규모 후처리 환경에서 계산 효율을 개선한다.
근거
- EfficientRollout은 롤아웃을 최대 19.6% 가속하고 end-to-end 학습을 12.7% 무손실로 단축했다. — EfficientRollout 개요의 성능 수치(롤아웃/학습 가속).
Gangnam HQ 해피아워와 커뮤니티 교류
ICML 기간 중 Furiosa는 강남 본사에서 연구자·시스템 설계자·엔지니어를 초청해 100명 이상이 참석한 해피아워를 열어 학계·산업 간 대면 교류를 촉진했다. 현장 사진과 발표 세션을 통해 연구팀은 논문의 핵심 아이디어와 하드웨어 데모를 직접 설명하고 파트너십과 파일럿 운영 가능성을 논의하는 구조를 마련했다. 회사는 이러한 현장 소통이 연구 결과의 프로덕션 적용 가능성을 높이고 에코시스템 전반의 협업을 촉진한다고 보고했다.
용어 해설
- 대규모 언어 모델(LLM)
- — 대규모 언어 모델(LLM)은 대량의 텍스트로 사전학습되어 문장 생성과 추론을 수행하는 신경망 계열로, 입력 토큰을 받아 다음 토큰 확률을 예측하는 방식으로 동작한다. 추론 시에는 토큰별로 키·값 캐시(KV cache)가 쌓이며 컨텍스트가 길어질수록 메모리·대역폭 병목이 발생할 수 있다. 연구들은 성능과 비용을 줄이기 위해 attention 구조 변경, 양자화, 캐시 재사용 같은 기법을 적용한다.
- 확산 기반 언어 모델(DLM)(Diffusion language model)
- — 확산 기반 언어 모델은 텍스트 생성을 확산 과정(denoising)으로 정의해 블록 단위로 반복적인 복원 과정을 거쳐 문장을 생성하는 비자기회귀(non-autoregressive) 계열이다. DLM은 각 복원 단계에서 과거 상태(토큰) 정보를 유지해야 하므로 키·값 캐시가 단계별로 팽창하는 'KV inflation' 문제가 발생할 수 있다. LoSA는 활성 토큰과 안정 토큰을 구분해 안정 토큰의 prefix attention을 재사용함으로써 이 문제를 줄인다.
- KV 팽창(KV inflation)
- — KV 팽창은 복잡한 생성 과정에서 attention의 키·값 행렬이 단계마다 누적되어 메모리 사용량과 대역폭 요구가 선형으로 증가하는 현상을 가리킨다. 특히 블록 단위나 확산 기반 생성처럼 여러 단계가 반복될 때 문제의 정도가 커지며, 실시간 서빙에서는 메모리 병목으로 속도 저하가 발생한다. 해결책으로는 토큰 활성도 기반의 선택적 캐시 재사용이나 sparse attention 적용이 있다.
- 온-폴리시 증류(On-policy distillation (OPD))
- — 온-폴리시 증류는 학습 중 생성(rollout)으로 얻은 정책 데이터를 즉시 학생 모델에 반영해 교사-학생 구조로 성능을 옮기는 방법이다. 전통적 동기식 파이프라인에서는 rollout 생성과 파라미터 업데이트가 동기화되어 유휴 시간이 발생하는데 AsyncOPD는 이 과정을 비동기 분리해 처리량을 올린다. 연구는 교사 점수 캐시의 staleness(구식화)와 reverse-KL 최적화를 분석해 안정성-효율 균형을 맞춘다.
- 추측적 디코딩(Speculative decoding)
- — 추측적 디코딩은 고성능의 경량 초안 모델이 먼저 여러 토큰을 제안하면, 완전한(heavy) 모델은 그 제안을 검증하거나 일부만 재생성하여 전체 추론 비용을 줄이는 기법이다. Furiosa의 EfficientRollout는 4비트 양자화된 self-drafting 모델과 시스템 인식 토글, 동적 초안 길이 조정으로 추론과 RL 롤아웃의 병목을 완화한다. 동작은 초안 생성→검증/보정→최종 확정의 흐름으로 구성된다.
기술
- Best-of-N
- sparse attention
- KV cache
- 4-bit quantization
- reverse-KL
- speculative decoding
언급된 리소스
문서ReJump: Tree-jump representation for LLM reasoning
문서LoSA: Locality-aware sparse attention for block-wise diffusion language models
문서AsyncOPD: How stale can on-policy distillation be?
문서EfficientRollout: System-aware self-speculative decoding for RL rollouts
문서Whitepaper: RNGD meets Backend.AI: AI Inference Infrastructure for the Era of Sovereign AI
문서원문 링크
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
수집 2026. 08. 07.출처 타입 WEB
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
