TL;DR
AQuA의 Part II loop는 에이전트가 매 반복마다 임의의 training code를 작성하는 대신 architecture, loss, sampler, optimizer 중 제한된 설정 차이만 내도록 구성한다. 후보 모델은 데이터 분할, feature·label 정의, 평가 로직이 고정된 sealed evaluator에서 학습과 평가를 거친다. US-equity 실험은 2010–2019년 학습, 같은 기간 내부 validation을 이용한 early stopping과 checkpoint 선택, 2020년 embargo, 2021–2025년 최종 테스트 순서를 따른다. 이 구조는 성능 변화의 변경 범위를 좁히지만, 계산 예산의 동등성이나 feature set·normalization·label construction 공개까지 보장하지는 않는다.
섹션별 상세
이미지 분석
이미지는 Knowledge Store에서 config hypothesis를 초기화하고, architecture DSL과 training framework로 후보 모델을 조립한 뒤, sealed evaluation과 governance를 거쳐 signal-to-strategy output을 만드는 흐름을 보여준다. 평가 결과와 실험 기록은 Knowledge Update로 되돌아가 다음 설정 차이를 만들며, 본문이 말한 제한된 변경 표면과 고정 평가 경계를 시각적으로 뒷받침한다.
AQuA의 config-driven 자율 모델 개발 루프를 네 단계로 연결한 다이어그램이다.
이미지는 첫 번째 제공 이미지와 같은 모델 개발 루프를 다른 미리보기 URL로 담고 있다. config hypothesis, model assembly, sealed evaluation, signal-to-strategy output, knowledge update가 순환하는 구조여서 에이전트의 제안과 평가기의 고정 경계를 파악하는 데 유용하다.
AQuA의 폐쇄형 설정 기반 모델 개발 반복 과정을 정리한 다이어그램이다.
용어 해설
- 봉인된 평가기(Sealed Evaluator)
- — 에이전트가 학습 중 바꿀 수 없는 데이터 분할, 특징·라벨 정의, 평가 로직을 고정한 실행 환경이다. 후보 모델은 동일한 경계 안에서 학습과 평가를 거치므로 설정 변경과 평가 절차를 분리해 추적할 수 있다.
- 설정 차이(Configuration Diff)
- — 이전 승인 설정과 다음 후보 설정 사이에서 달라진 항목만 기록한 변경 내역이다. AQuA의 반복 과정에서는 architecture, loss, sampler, optimizer 중 제한된 영역의 변경을 남겨 성능 변화와 수정 범위를 연결한다.
- 엠바고 기간(Embargo Period)
- — 모델 학습이나 선택 과정에서 접근하지 않도록 분리한 시간 구간이다. 해당 실험에서는 2020년을 학습 및 선택에서 제외하고, 이후 2021–2025년을 최종 테스트 창으로 사용해 시간 순서에 따른 누수를 막는다.
- 조기 종료(Early Stopping)
- — 검증 성능이 더 이상 좋아지지 않을 때 학습을 멈추고 과적합을 줄이는 절차다. 이 실험에서는 학습 기간인 2010–2019년 내부의 검증 슬라이스만 조기 종료와 checkpoint 선택에 사용해 2020년 이후 데이터를 의사결정에서 제외한다.
언급된 리소스
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
