Interactive Training 2: 라이브 모델 학습을 위한 감사 가능한 제어 플레인

연구자는 학습 중 손으로 하던 개입을 실시간으로 관찰한 뒤 결정하지만 기존 도구는 관찰과 제어를 일관된 방식으로 연결하지 못했다. 이 논문은 학습 코드가 변경 가능 항목과 동작을 선언하면 세션이 안전한 제어 지점에서 요청을 검증·적용하고 결과를 기록하는 제어 플레인을 제안한다. 이 접근은 사람과 자동화된 에이전트가 동일한 프로토콜로 작동하면서 모든 결정을 감사 가능하게 만든다는 점에서 실험 재현성과 협업 효율을 높인다.

학습 중 개입은 관찰과 조작의 두 축으로 이루어지며 기존 실험 트래커는 관찰 기능만 제공하고 트레이너별 콜백으로 조작 로직을 흩어지게 만들었다고 출발한다. 제어 플레인은 학습 애플리케이션이 바꿀 수 있는 항목을 타입과 범위 정보와 함께 명시하고, 트레이닝 루프가 개발자가 정한 안전한 제어 지점에서만 변경을 적용하도록 역할을 분리한다. 이 분리는 관찰·결정·적용·기록의 책임을 명확히 나누어 동일한 제어 프로토콜로 여러 종류의 컨트롤러가 작동할 수 있게 만든다.

시스템은 세 가지 핵심 컴포넌트로 구성된다: TrainingSession, 등록된 설정·액션 API, 그리고 Aim 기반 UI와 HTTP 엔드포인트이다. TrainingSession은 세션의 장기 상태를 보유하며 metrics를 기록하고 요청 큐를 관리하며 이벤트를 시간 순으로 기록한다. 등록된 설정은 register_knob API로 노출되며 각 노브는 getter·setter·데이터 타입·범위·스텝을 포함해 세션이 요청값을 변환·클램프한 뒤 실제 학습 코드로 전달한다.

논문은 다섯 가지 워크플로우에서 라운드별로 새로운 최고 점수를 갱신한 사례를 제시하며 각 워크플로우의 초기 레퍼런스(Round 0)와 최종 베스트 점수를 비교해 문맥을 제공했다. 예를 들어 감정 분류 워크플로우는 validation loss가 0.354에서 0.220으로 개선되었고 RLVR Countdown은 hardest accuracy가 0.032에서 0.232로 상승했다. 각 라운드의 요청·결과·반영이 JSONL 저널에 남아 있어 요청이 실제로 적용되었는지와 이후 라운드의 계획이 이전 회고를 어떻게 반영했는지를 검증할 수 있다.

전체 아키텍처는 TrainingSession을 중심으로 학습 루프, 컨트롤러, HTTP/ WebSocket 엔드포인트, Aim transport로 구성된다. TrainingSession은 session.step(metrics)와 session.pump() 인터페이스를 제공하며 step 호출 시 메트릭 기록, 컨트롤러 실행, 요청 큐 배출, 핸들러 실행 및 결과 기록의 순서를 보장한다. 제어 지점에서 반환되는 StepControl 오브젝트는 통합 코드가 stop·evaluate·save/load checkpoint·reset module·update setting과 같은 결정을 로컬 프레임워크 의미로 변환하도록 설계되었다.

세션은 LLM 응답을 기다리는 동안 학습 루프를 정지시키는 상황이 발생할 수 있으며 응답이 지나치게 늦게 도착했을 때의 처리 전략은 현재 구현에서 자동으로 보장되지 않는다. 애플리케이션은 도메인별 위험한 동작을 숨기거나 값 범위·타입 검사·권한 검사를 통해 에이전트 동작을 제한해야 하며 이들 기법만으로 고위험 환경에서의 안전을 완전히 보장할 수 없다. 고위험 사용에는 승인 게이트·리소스 예산·롤백 정책·작업별 안전 검사가 추가적으로 필요하다.