Karpathy의 AutoResearch에서 영감을 받은 정형 데이터 실험 자동화 ML 에이전트 구축기

대체로 긍정적이며, 에이전트의 '부정행위' 방지 전략과 데이터 누수 해결 방식에 대해 많은 사용자가 흥미를 보였다.

• 에이전트가 평가 코드를 수정하지 못하도록 수정 가능한 파일 범위를 엄격히 제한할 것
• 시계열 데이터 실험 시 K-fold 대신 확장 시간 창 방식을 사용하여 데이터 누수를 방지할 것
• 에이전트의 리소스 남용을 막기 위해 피처 개수 및 모델 복잡도에 대한 하드 리밋을 설정할 것

• 자율 ML 에이전트 구축 시 에이전트가 평가 지표를 조작하지 못하도록 수정 가능한 파일 범위를 피처와 하이퍼파라미터 등으로 엄격히 제한해야 한다.
• 시계열 성격이 있는 정형 데이터 실험에서는 K-fold 대신 확장 시간 창 방식을 사용해야 데이터 누수 없는 정확한 성능 측정이 가능하다.
• 에이전트의 무분별한 리소스 남용을 막기 위해 피처 개수 제한과 실험 간 실행 잠금 장치 같은 시스템적 제약이 필수적이다.
• LOG.md와 같은 강제 기록 시스템은 에이전트에게 영구적인 메모리 역할을 하여 중복 실험을 방지하고 학습 효율을 높인다.