에이전트 GPU 실험의 지출 경계 설정

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

Ångström은 에이전트가 GPU 실험 배치를 자동 실행하고 결과를 수집하도록 구성했지만, 잘못된 작업이 큰 비용으로 확산될 위험을 겪었습니다. 이를 막기 위해 각 에이전트 세션에 시간당 예상 지출 상한과 기간별 누적 예산을 적용하고, 한도에 도달하면 실행 중인 작업은 유지한 채 새 작업을 대기열로 보냈습니다. 이 방식은 Admission Control이므로 비용 추정 오차와 진행 중인 작업 때문에 실제 청구액이 상한을 넘을 수 있으며, 게시자는 제한 지점을 세션·팀·스케줄러·클라우드 계정 중 어디에 둘지 묻고 있습니다.

실용적 조언

에이전트가 GPU 작업을 직접 실행하는 환경에서는 새 작업 승인 전에 실행 중인 workload와 다음 VM의 예상 비용을 함께 계산하는 세션별 Rate Cap을 둘 수 있습니다. 달력 기간의 확정 지출과 예상 지출을 합산하는 Cumulative Budget을 추가하면 단일 세션을 넘어선 비용 누적도 제한할 수 있습니다. 상한 도달 시 실행 중인 작업을 즉시 종료하기보다 새 작업을 대기열에 넣고 연구자에게 상태를 알리는 방식이 실험 손실을 줄입니다.

섹션별 상세

Ångström은 에이전트가 실험 배치를 실행하고 작업을 감시하며 결과와 plot, 요약을 수집하도록 구성했습니다. 이 구조는 연구자의 반복 작업을 줄이지만, 잘못된 배치 하나가 감지되기 전에 수천 달러의 GPU 비용으로 확산될 수 있습니다. Ångström은 anycloud를 통해 100,000 GPU-hours 이상을 사용했고, Cambridge와 AstraZeneca 연구진과 CSP-MACE-Å를 개발하는 과정에서 이 환경을 활용했습니다.

지출 경계는 각 에이전트 세션에 두 가지 제어를 적용하는 방식으로 설정했습니다. 스케줄러는 새 작업을 승인하기 전에 실행 중인 workload와 다음 VM의 예상 비용을 합산해 시간당 지출 상한을 확인하고, 별도로 달력 기간 동안 확정 지출과 예상 지출을 누적 예산과 비교합니다. 두 상한 중 하나에 도달하면 새 작업은 대기열에 머물고 실행 중인 작업은 계속 진행되며, 연구자에게 작업이 상한 때문에 대기 중이라는 알림을 보냅니다.

이 방식은 강제적인 billing ceiling이 아니라 admission control이라는 한계를 가집니다. 실행 중인 작업을 종료하지 않고 클라우드 비용 일부를 추정치로 계산하므로 실제 지출은 명목상 상한을 넘어설 수 있습니다. 반대로 장시간 실험을 강제 종료하면 이미 투입한 컴퓨팅 자원을 잃는 별도의 실패가 생기므로, 작성자는 대기·취소·실행 중단 중 어느 시점에 제한을 둘지 묻고 있습니다.

용어 해설

작업 승인 제어(Admission Control): — Admission Control은 실행 중인 작업과 새 작업의 예상 비용을 비교해 추가 작업의 시작 여부를 결정하는 방식입니다. 실행 중인 작업을 중단하지 않고 새 작업만 대기열에 넣어 GPU 지출 증가를 늦춥니다. 다만 비용 추정 오차 때문에 실제 청구액을 명목상 한도 아래로 보장하지는 않습니다.
Spot 인스턴스(Spot Instance): — Spot Instance는 클라우드에서 상대적으로 낮은 비용으로 사용할 수 있지만, 공급 상황에 따라 중단될 수 있는 가상 머신입니다. Ångström은 anycloud를 통해 100,000 GPU-hours 이상을 처리했으며 대부분 여러 클라우드의 Spot 환경을 이용했습니다. 대규모 실험 비용을 낮추는 대신 작업 지속성과 비용 통제가 중요해집니다.
시간당 지출 상한(Rate Cap): — Rate Cap은 일정 시간 동안 새 작업을 받아들이는 속도를 예상 시간당 지출로 제한하는 제어 방식입니다. 스케줄러는 현재 실행 중인 작업의 비용과 다음 VM의 예상 비용을 합산한 뒤 새 작업을 승인할지 결정합니다. 한도에 도달하면 실행 중인 작업은 유지하고 새 작업을 대기열로 보냅니다.
누적 예산(Cumulative Budget): — Cumulative Budget은 특정 달력 기간에 누적된 확정 지출과 예상 지출을 합산해 작업 실행량을 제한하는 예산입니다. 세션별 시간당 상한과 별도로 전체 기간의 비용 증가를 감시합니다. 상한을 넘으면 새 작업만 대기하며 이미 시작한 작업은 계속 실행됩니다.

언급된 도구

anycloud추천링크

여러 클라우드와 Spot 환경에서 GPU 실험 작업을 실행하고 비용 제한 및 스케줄링을 적용하는 유료 인프라 제품입니다.

언급된 리소스

논문CSP-MACE-Å paper

문서Ångström case study