챕터별 상세
01:26
Modal의 핵심 빌딩 블록
Modal은 인프라 관리 없이 코드를 실행할 수 있는 네 가지 주요 프리미티브를 제공한다. Functions는 클라우드에서 병렬로 코드를 실행하며 단일 호출로 1,000개 이상의 실행을 확장할 수 있다. Volumes는 체크포인트 저장 및 데이터 로딩을 위한 고성능 분산 파일 시스템이다. Sandboxes는 격리된 컨테이너 환경으로 모델 출력을 평가하는 RL 환경으로 사용된다. Flash는 학습 중 빠른 롤아웃 생성과 LLM-as-a-judge 보상 모델 배포를 위한 추론 서빙 레이어이다.
Modal은 서버리스 환경에서 GPU 자원을 할당하고 코드를 실행하는 플랫폼이다.
03:22
RL 인프라 설계 목표: 안정성과 처리량
강화학습 인프라의 핵심은 안정성(Stability)과 처리량(Throughput)이다. 안정성은 빠른 샌드박스 콜드 스타트와 신뢰할 수 있는 체크포인팅을 통해 학습 중단 시 진행 상황을 보존하는 것을 의미한다. 처리량은 학습 시간의 약 80%를 차지하는 롤아웃 생성 병목을 해결하고 빠른 보상 계산을 수행하는 능력이다. Modal은 이러한 요구사항을 충족하기 위해 GPU 활용도를 최적화하고 병렬 실행을 지원한다.
롤아웃(Rollout)은 에이전트가 환경과 상호작용하여 데이터를 수집하는 과정을 말한다.
08:48
단일 GPU에서 멀티 노드 학습으로의 확장
Modal에서는 SSH 접속 없이 함수 호출만으로 학습 작업을 실행할 수 있다. 단일 H200 노드(8 GPU) 학습에서 시작하여 @modal.clustered 데코레이터를 사용해 멀티 노드 클러스터로 쉽게 확장 가능하다. 멀티 노드 환경에서는 RDMA를 통해 노드 간 고속 통신을 지원하며, 대규모 모델 학습에 필요한 컴퓨팅 자원을 즉시 확보할 수 있다. 또한 map 함수를 사용하여 수많은 파라미터 스윕(Parameter Sweep) 작업을 동시에 수행할 수 있다.
RDMA(Remote Direct Memory Access)는 CPU를 거치지 않고 네트워크를 통해 메모리에 직접 접근하는 기술로, 분산 학습의 병목을 줄여준다.
15:45
샌드박스 풀링을 통한 환경 생성 최적화
RL 환경 실행 시 발생하는 콜드 스타트 지연을 줄이기 위해 샌드박스 풀링(Warm Pool) 기법을 적용했다. 크론(Cron) 작업을 통해 일정 수의 샌드박스를 미리 생성하고 유지하는 스크립트를 구현하여 학습 요청 시 즉각적인 환경 제공이 가능하도록 했다. 스크립트는 사용 가능한 샌드박스 수를 모니터링하고 부족할 경우 자동으로 보충하며, 수명이 다한 샌드박스는 교체한다. 이 방식을 통해 대규모 병렬 평가 환경에서도 지연 시간을 최소화했다.
콜드 스타트는 컨테이너가 처음 실행될 때 발생하는 초기화 지연 시간을 의미한다.
19:42
실전 사례 1: RL을 이용한 하이쿠 생성
하이쿠 생성 모델 학습을 위해 Slime 알고리즘과 LLM-as-a-judge 방식을 결합했다. 5-7-5 음절 수라는 엄격한 제약 조건과 문학적 품질이라는 주관적 지표를 동시에 최적화하기 위해 여러 보상 설정을 비교했다. Flash를 사용하여 여러 판사(Judge) 설정을 병렬로 배포하고 각 체크포인트마다 실시간으로 품질을 평가했다. 결과적으로 단순 음절 계산 보상보다 LLM 판사를 활용했을 때 질적으로 더 우수한 하이쿠가 생성됨을 확인했다.
LLM-as-a-judge는 대규모 언어 모델을 사용하여 다른 모델의 출력 결과물을 평가하는 기법이다.
28:48
실전 사례 2: Code Golf와 Harbor 학습
최소한의 코드 길이로 정답을 도출하는 Code Golf 문제를 해결하기 위해 모델을 학습시켰다. 각 생성된 코드 후보는 Modal 샌드박스에서 실제로 실행되어 정확성을 검증받은 뒤, 코드 길이에 따른 보상을 받는다. 모델 프록시가 아닌 실제 실행 결과에 기반한 보상을 제공함으로써 정확하면서도 극도로 짧은 코드를 생성하는 능력을 강화했다. 이 과정에서 Harbor 프레임워크를 통합하여 샌드박스 기반의 RL 환경을 구축했다.
Code Golf는 특정 알고리즘 문제를 가능한 한 가장 적은 바이트 수의 코드로 해결하는 프로그래밍 유희다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 05. 09.수집 2026. 05. 09.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
