세션 재개 비용 누적 버그와 워크플로 예산 상한

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

octomind의 다단계 오케스트레이터에서 세션 재개 호출이 매번 세션 전체의 CUMULATIVE cost를 반환하는데, 이를 호출별 비용처럼 더하면 반복 횟수에 비례해 실제 지출이 부풀려진다. 해결책은 단계별 이전 누적값을 running baseline으로 저장하고 현재 누적값과의 차액만 계산해 각 turn의 비용을 한 번만 반영하는 방식이다. 별도 세션을 쓰는 단계에서는 per-session spending cap도 단계마다 초기화되므로, 여러 단계와 반복을 포괄하는 실행 단위의 총액 상한을 추가해야 한다. 저장소 문서의 Cost budget 절과 provider 비용 비교로 두 오류를 점검할 수 있다.

실용적 조언

세션을 재개하는 단계에서는 호출마다 반환된 CUMULATIVE cost를 직접 합산하지 말고, 단계별 이전 누적값을 baseline으로 저장한 뒤 현재 값과의 차액만 반영해야 한다.
세션별 지출 상한만 두지 말고 여러 단계와 반복을 포함한 전체 워크플로에 별도의 총액 상한을 설정해야 한다.
다섯 번 반복한 실행에서 오케스트레이터 합계와 provider의 동일 시간 구간 비용을 비교해 반복 횟수에 비례한 과대 집계 여부를 확인해야 한다.

섹션별 상세

octomind의 워크플로는 각 단계를 별도 프로세스에서 한 번의 agent turn으로 실행하고, 일부 단계는 기존 세션을 재개해 generator와 tester가 반복적으로 결과를 다듬는다. 이 구조에서 재개 호출은 해당 호출만의 비용이 아니라 세션 전체의 CUMULATIVE cost를 반환한다. 오케스트레이터가 호출별 반환값을 그대로 더하면 1회차 비용, 1·2회차 누적 비용, 1·2·3회차 누적 비용이 겹쳐 반복 횟수가 늘수록 실제 지출보다 큰 값이 계산된다.

비용 중복 집계는 단순한 보고서 오류에 그치지 않고 워크플로 지출 상한의 판정값까지 왜곡한다. 오케스트레이터가 각 재개 호출의 누적값을 합산하면 실제로는 예산 안에 있는 실행도 상한 초과로 중단되고, 반복 루프가 길어질수록 더 이른 시점에 작업이 종료된다. 즉 보수적으로 비용을 계산하는 제어 장치가 이미 지불한 작업의 후속 단계를 차단하는 결과를 만든다.

수정 방법은 단계별로 이전까지의 누적 비용을 running baseline으로 보관하고, 새 호출이 반환한 누적값에서 기준값을 빼 현재 turn의 비용만 추출하는 것이다. 이렇게 얻은 차액을 단계별 비용, 전체 실행 비용, 지출 상한에 각각 반영하면 동일한 지출이 한 번만 계산된다. 반면 새 세션을 매 호출마다 만드는 fresh step과 parallel step은 누적 이력이 없으므로 반환된 값을 그대로 사용할 수 있다.

별도 프로세스와 세션을 사용하는 구조에서는 세션별 지출 상한도 전체 워크플로의 상한으로 오해하기 쉽다. 예를 들어 두 단계가 열 번 반복되면 각 단계의 세션 상한이 매번 초기화되어 세션 하나에 기대한 한도의 최대 스무 배까지 지출할 수 있다. 따라서 단계별 세션 제한과 별개로 여러 단계와 반복을 합산하는 실행 단위의 총액 제한이 필요하다.

문제 재현은 세션이나 thread를 단계 사이에서 재개하는 시스템에서 다섯 번 반복 루프를 실행한 뒤, 오케스트레이터의 합계와 같은 시간 구간에 대한 provider 자체 비용을 비교하는 방식으로 가능하다. 두 값이 반복 횟수에 가까운 비율로 어긋나면 매 호출의 누적 사용량을 다시 더하고 있을 가능성이 크다. 두 동작의 정확한 처리 방식은 저장소의 doc/usage/09-workflows.md Cost budget 절에 기록되어 있다.

용어 해설

누적 비용(Cumulative Cost): — 재개된 세션이 현재 호출의 비용이 아니라 세션 시작 이후 누적된 전체 비용을 매번 반환하는 방식이다. 호출별 비용으로 오인해 더하면 같은 지출이 반복 집계된다.
실행 기준값(Running Baseline): — 이전 호출까지 기록된 누적 비용을 기준값으로 보관한 뒤 현재 호출의 누적값에서 빼는 처리 방식이다. 두 시점의 차이만 추출해 각 반복의 실제 비용을 한 번만 계산한다.
지출 상한(Spend Cap): — 워크플로가 사용할 수 있는 비용의 최대 한도다. 누적 비용을 잘못 합산하면 실제 예산 안에 있는 실행도 한도 초과로 판정되어 중단될 수 있다.
세션별 지출 상한(Per-session Spending Cap): — 하나의 세션에 적용되는 비용 제한이다. 각 단계가 별도 프로세스와 세션을 만들면 단계마다 상한이 다시 설정되므로 전체 다단계 실행의 총액을 제한하지 못한다.

언급된 도구

octomind중립링크

각 워크플로 단계를 별도 프로세스와 agent session으로 실행하는 오케스트레이터

언급된 리소스

GitHuboctomind