비개발자가 영어로 조종하는 반자율 AI 워크플로: Kaggle 대회 참여 사례

실용적 조언

AI 시스템 구축 시 로컬 테스트 결과만 믿지 말고, 외부 환경의 데이터를 실시간으로 동기화하여 검증 게이트를 만들어야 한다.
실패 사례를 단순히 에러로 치부하지 말고 시스템이 다음 실행 시 참고할 수 있는 프로세스 변경의 근거로 활용하라.

섹션별 상세

작성자는 코드를 직접 작성하는 대신 시스템이 '레인(Lane)' 수준의 작업을 수행하도록 자연어로 조종했다. 시스템은 목표 설정 후 스크립트 작성, 실행, 아티팩트 생성, 로컬 테스트, Kaggle API를 통한 제출까지의 과정을 스스로 처리했다. 이러한 방식은 단순한 프롬프팅을 넘어 스크립트 실행과 결과 검증이 반복되는 루프 구조를 가진다.

Kaggle Orbit Wars 대회에 참여하여 실제 외부 점수판(Leaderboard)을 통해 시스템의 성능을 검증했다. 로컬 테스트에서는 우수한 성적을 거두었으나 실제 제출 시 결과가 다른 불일치 현상이 발생했다. 이를 해결하기 위해 시스템은 로컬 결과에 안주하지 않고 더 엄격한 판정 기준과 상대 봇 아키타입 분석 기능을 스스로 추가했다.

시스템은 실패를 프로세스 개선의 기회로 삼는 '실패 메모리' 기능을 작동시켰다. 외부 리얼리티의 피드백이 오면 이를 게이트(Gate)나 프로세스 변경의 근거로 삼아 다음 실행 시 동일한 실수를 반복하지 않도록 설계됐다. 이는 사람이 라인 단위로 코딩하는 것이 아니라 전체적인 루프의 운영자 역할을 수행함을 의미한다.

최종 결과는 Kaggle 리더보드 중위권 수준으로, 1위를 차지하거나 문제를 완벽히 해결한 것은 아니었다. 하지만 비개발자가 외부의 객관적인 지표를 가진 실제 경쟁 환경에서 반자율 시스템을 통해 유의미한 결과를 도출했다는 점이 핵심이다. 작성자는 이를 '바이브 코딩(Vibe Coding)'을 넘어선 반자율 아티팩트/리플레이 프레임워크로 정의했다.

용어 해설

아티팩트(Artifact): — 소프트웨어 개발 과정에서 생성되는 코드, 스크립트, 실행 파일 등의 결과물을 의미한다. 이 게시물에서는 AI가 생성한 봇이나 테스트 스크립트 등을 지칭하며, 시스템이 목표 달성을 위해 만들어내는 구체적인 도구로 활용된다.
릴리스 게이트(Release Gate): — 특정 기준을 충족하지 못하면 다음 단계(배포 또는 제출)로 넘어가지 못하게 차단하는 검증 절차이다. 본문에서는 로컬 테스트 결과와 실제 리더보드 점수 간의 차이를 줄이기 위해 시스템이 스스로 판단하여 제출 여부를 결정하는 장치로 사용됐다.
메타 건틀릿(Meta-Gauntlet): — 다양한 시나리오나 상대(상대 봇의 아키타입)를 대상으로 모델의 성능을 종합적으로 검증하는 일련의 테스트 과정을 의미한다. 단순한 성능 측정을 넘어 외부 환경의 변수와 경쟁 상황을 시뮬레이션하여 결과의 신뢰성을 높이는 역할을 한다.

언급된 도구

Kaggle API추천

대회 제출 및 리더보드 데이터 동기화