실패한 Agent Harness에 남은 설계 기록

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

작성자는 883개의 커밋과 8개월의 개발, 수십억 개의 토큰을 투입해 LLM을 통제된 작업자로 사용하는 Agent Harness를 만들었지만 프로젝트를 중단했습니다. 하네스가 계획, 상태, 권한, 문맥, 오케스트레이션, 검증과 증거 수집을 맡고 모델의 완료 주장을 외부 결과로 확인하도록 설계했으나, Code Graph, RAG, 결정적 오케스트레이션, 격리된 작업자, 충돌 복구, 모델 라우팅, 로컬 모델, 재실행 가능한 실행, 샌드박싱 등을 계속 추가하면서 과도하게 복잡해졌습니다. 저장소에는 Rust/Python/Tauri 코드와 연구 문서, 실험 기록, 정리된 커밋 이력이 남아 있으며, 작성자는 제품으로는 실패했지만 에이전트 하네스를 만드는 사람에게 일부 구조와 실패 사례가 유용할 수 있다고 봅니다.

섹션별 상세

작성자는 LLM을 시스템 전체를 통제하는 주체가 아니라 교체 가능한 작업자로 제한하고, 계획·상태·권한·문맥·검증·증거·오케스트레이션을 하네스가 소유하도록 설계했습니다. 모델이 “I finished the task”라고 말해도 시스템이 실제 변경 사항과 실행 결과를 별도로 확인하는 흐름입니다. 이 구조의 핵심은 모델의 자기 보고를 신뢰 경계 밖에 두고 외부 검증을 완료 조건으로 삼는 데 있습니다.

프로젝트에는 Code Graph, RAG, 결정적 오케스트레이션, 격리된 작업자, 충돌 복구, 모델 라우팅, 로컬 모델, 재실행 가능한 실행, 검증 게이트와 대시보드가 차례로 추가됐습니다. 기능이 늘면서 단순한 코딩 에이전트 하네스가 개인 자동화와 Computer Use까지 포함하는 거대한 실험 시스템으로 변했습니다. 작성자는 실제 작업에 사용하는 시간보다 조사, 계획, 시스템 추가에 쓰는 시간이 많아졌고, 그 결과 다른 하네스가 실용성을 높이는 동안 자신의 프로젝트는 대부분 Headless 실험으로 남았다고 회고했습니다.

ELAI-archive는 결정적이고 재현 가능한 실행, 세션 간 문맥 인계, 샌드박싱과 권한 게이트, 에이전트가 직접 만들지 않은 증거를 이용한 주장 검증을 주요 연구 대상으로 남겼습니다. 저장소에는 원래의 Rust/Python/Tauri 코드와 수천 개의 계획·연구 문서, 정리된 커밋 이력이 포함되어 있습니다. 따라서 완성된 Claude Code 대체품이 아니라 에이전트 구조를 설계할 때 참고할 수 있는 구현 조각과 실패 기록의 모음에 가깝습니다.

작성자는 883 commits와 8개월의 개발 기간, 수십억 개의 토큰을 투입했지만 제품으로서의 결과는 실패했다고 평가했습니다. 실패 원인은 개별 기술의 부재보다 “모든 문제를 해결하려는” 범위 확장과 실제 사용보다 연구·설계·기능 추가를 우선한 개발 흐름에 있었습니다. 그는 프로젝트를 다시 완성할 가능성을 열어 두면서도, 현재로서는 다른 개발자가 저장소에서 쓸 만한 아이디어나 피해야 할 패턴을 얻는 것만으로도 손실을 줄일 수 있다고 판단했습니다.

이미지 분석

Screenshot
이미지는 ELAI-archive가 완성된 제품이 아니라 orchestration, code retrieval, off-agent verification, deterministic replay와 sandboxing을 실험한 연구 저장소임을 시각적으로 확인시킵니다. 화면 하단의 Contributors, Issues, Stars, Forks가 모두 0으로 표시되어 있으며, 본문에서 밝힌 비지원·중단 상태와 연결됩니다.
GitHub 저장소 카드에 DITlieD/ELAI-archive가 표시되고, local-first·model-agnostic LLM agent harness를 위한 중단된 연구 아카이브라는 설명이 적혀 있습니다.

용어 해설

에이전트 하네스(Agent Harness): — LLM이 직접 모든 작업을 통제하지 않도록 계획, 상태 관리, 권한, 실행 조정, 검증을 바깥 시스템에서 맡는 실행 프레임워크입니다. 모델은 작업자 역할을 수행하고 하네스가 결과와 과정을 확인합니다.
결정적 재실행(Deterministic Replay): — 에이전트 실행 과정에서 입력, 상태, 도구 호출을 기록해 같은 조건으로 실행을 재현하는 방식입니다. 실패 원인을 추적하고 변경된 결과를 비교할 수 있어 복잡한 자동화의 검증에 중요합니다.
코드 검색(Code Retrieval): — 대규모 코드베이스에서 현재 작업과 관련된 파일, 함수, 의존성을 찾아 LLM의 문맥으로 제공하는 과정입니다. ELAI-archive는 RAG와 코드 그래프를 함께 활용하는 방향을 실험했습니다.
오케스트레이터와 작업자 분리(Orchestrator/Worker Separation): — 전체 계획과 실행 조정을 맡는 오케스트레이터와 실제 코드를 수정하거나 명령을 수행하는 작업자를 분리하는 구조입니다. 모델을 교체 가능한 작업자로 제한해 상태와 권한을 중앙에서 통제하려는 목적이 있습니다.
권한 게이트(Permission Gates): — 에이전트가 파일, 명령어, 외부 시스템에 접근하기 전에 정해진 조건을 통과하도록 제한하는 장치입니다. 샌드박싱과 함께 사용하면 모델의 잘못된 판단이 시스템 전체로 확산되는 범위를 줄일 수 있습니다.

언급된 도구

Rust중립

ELAI-archive의 실험 코드 구현

Python중립

ELAI-archive의 실험 코드 구현

Tauri중립

ELAI-archive의 애플리케이션 구현

언급된 리소스

GitHubDITlieD/ELAI-archive