EdgeBench: 실제 환경 상호작용에서 관찰된 로그-시그모이드 학습 법칙과 장시간 에이전트 학습 속도

실제 배포된 에이전트는 사전학습으로 얻지 못한 도메인 지식을 상호작용으로 보완해야 하며 EdgeBench는 그런 장기 상호작용을 측정할 수 있는 표준을 제공한다. 장시간·다양한 현실 과제에서 성능이 예측 가능한 수학적 형태로 정규화된다는 사실은 실전 배포 후 학습 가능성과 개선 속도를 정량화할 수 있음을 의미한다. 따라서 이 결과는 에이전트 연구에서 단편적 성과 평가를 넘어 연속적 경험 축적과 평가 설계가 성능 향상에 미치는 효과를 체계적으로 연구할 수 있는 기반을 마련한다.

환경에서의 학습은 개별 시도에서 우연히 더 나은 결과를 찾는 과정과는 본질적으로 다르다. 학습은 이미 획득한 해법 조각을 재사용하여 인접한 잠금된 성능 단위를 점진적으로 해제해 가는 과정이며, 이 재사용 가능성이 클수록 후속 탐색의 효율이 증가한다. 이와 같은 누적 효과가 많은 과제에 걸쳐 평균화되면 시간의 로그 좌표에서 급격한 전이와 포화를 보이는 시그모이드 형태가 나타난다.

EdgeBench는 두 개의 피드백 루프를 설계하여 실제 작업 흐름을 재현한다. 내부 루프는 에이전트가 자유롭게 코드와 검증 도구를 실행하며 빠른 테스트와 디버깅을 반복할 수 있게 하고 외부 루프는 제출을 통해 은닉된 평가자(judge)가 숨겨진 케이스와 규격에 따라 권위 있는 피드백을 반환하도록 구성된다. 이 분리는 에이전트가 로컬 지표에 과대적합되는 것을 방지하면서도 연속적 개선을 가능하게 한다.

전체 집계에서 다섯 개의 프런티어 모델을 대상으로 한 12시간 트래젝토리를 평균했을 때 로그-시그모이드 모델이 높은 정밀도로 적합되었다. 평균 집계에 대한 적합도는 R^2 ≥ 0.997이었고 28시간과 72시간 확장에서도 모든 적합 곡선이 R^2 ≥ 0.993을 기록했다. 18개 과제 슬라이스에서 모델 세대별 학습속도를 측정한 결과 최전선 리더들에 대해 약 221일 사이에 약 8배 향상이 관찰되었고 이는 약 3개월마다 학습속도가 두 배로 증가하는 로그선형 추세와 일치한다.

전체 학습 곡선은 세 매개변수 로그-시그모이드 함수 S(t)=Smax/(1+(t_mid/t)^β)로 적합되며 여기서 Smax는 도달 가능한 점수 상한을, t_mid는 상한의 절반에 도달하는 상호작용 시간을, β는 로그 시간에서의 전파 속도를 조절한다. 이 식에서 시간 좌표는 로그 변환을 취한 u=log t로 자주 해석되며 평균장 근사 하에서 dx/du = β x(1−x) 형태의 전선 방정식으로 유도된다. 이 방정식의 해는 바로 위의 로그-시그모이드 형태이며 매개변수는 집계 곡선의 전이 위치와 급격함을 요약하는 통계적 설명자가 된다.

저자들은 로그-시그모이드 법칙이 모든 환경-학습 과정에 적용되리라는 주장을 하지 않는다. 그래프 구조에 강한 병목이 있거나 작업별 t_mid 분포가 넓게 흩어져 있고 전파 속도가 크게 이질적이면 법칙이 약해질 수 있음이 본문에서 명시되었다. 따라서 이론의 타당성은 과제 집합의 자가유사성이나 혼합 성질이 어느 정도 충족될 때에만 보장된다.