섹션별 상세
LLM 에이전트가 환경 내에서 불법적인 행동을 수행하는 문제를 해결하기 위해 자동 코드 하네스 합성 기술인 AutoHarness를 도입했다. Kaggle GameArena 체스 대회에서 Gemini-2.5-Flash 패배의 78%가 규칙 위반 때문이었을 정도로 에이전트의 신뢰성 확보는 중요한 과제이다.
AutoHarness는 환경으로부터의 피드백을 활용하여 LLM이 스스로 코드를 반복 수정하는 과정을 거친다. 이를 통해 에이전트의 행동을 제약하고 검증하는 외부 코드를 자동으로 생성하며, 145개의 TextArena 게임에서 불법 이동 발생률을 0%로 낮추는 성과를 거두었다.
이 기법을 적용한 소형 모델인 Gemini-2.5-Flash는 하네스 없이 작동하는 대형 모델인 Gemini-2.5-Pro보다 우수한 성적을 기록했다. 이는 모델의 파라미터 규모보다 환경에 최적화된 제어 로직의 유무가 에이전트의 실질적인 성능과 신뢰성에 더 큰 영향을 미침을 입증한다.
LLM이 의사결정 정책 전체를 코드로 생성하게 함으로써 실제 실행 시점에는 LLM 추론이 전혀 필요 없는 'Code-as-policy' 형태를 구현했다. 이 코드 정책은 16개의 TextArena 1인용 게임에서 Gemini-2.5-Pro 및 GPT-5.2-High보다 높은 평균 보상을 획득하며 효율성을 증명했다.
용어 해설
- 코드 하네스(Code Harness)
- — 에이전트의 입출력을 감싸서 특정 규칙을 강제하거나 환경과의 상호작용을 안전하게 관리하는 소프트웨어 계층이다. LLM이 생성한 행동이 환경의 제약 조건을 위반하지 않도록 사전에 검증하고 차단하는 역할을 수행하여 시스템의 신뢰성을 높인다.
- 반복적 정제(Iterative Refinement)
- — 초기 생성된 결과물을 환경의 피드백이나 에러 메시지에 따라 여러 차례 수정하고 보완하여 완성도를 높이는 최적화 과정이다. 이 아티클에서는 LLM이 코드 하네스를 작성할 때 환경 피드백을 받아 코드를 스스로 고쳐나가는 메커니즘을 의미한다.
- 정책으로서의 코드(Code-as-Policy)
- — LLM이 매 순간 행동을 결정하는 대신, 전체적인 의사결정 로직을 실행 가능한 코드로 생성하여 시스템을 제어하는 방식이다. 추론 시점에 LLM 호출이 필요 없어 비용과 지연 시간을 줄이면서도 복잡한 규칙을 정확하게 수행할 수 있다.
기술
- Gemini 2.5 Flash
- TextArena
- Code Synthesis
- Python
활용 사례
- 게임 에이전트
- 자율 의사결정 시스템
- 비용 최적화 LLM 서비스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 03. 14.수집 2026. 03. 14.출처 타입 RSS
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
