Claude Code가 내 업무 방식을 스스로 학습한다면? AgentHandover 개발기

실용적 조언

반복적인 에이전트 프롬프트 작성이 번거롭다면 AgentHandover를 사용해 작업 과정을 직접 보여주고 기술로 저장하여 재사용할 수 있다.
에이전트가 생성한 기술이 완벽하지 않더라도 자가 개선 기능을 통해 실행 횟수가 늘어남에 따라 정확도를 높일 수 있다.

섹션별 상세

사용자는 Claude Code에 매번 같은 작업을 설명하는 데 드는 시간 낭비를 문제로 지적했다. 2분이면 끝날 일을 에이전트에게 가르치느라 20분을 소모하는 비효율을 해결하고자 사용자의 행동을 직접 관찰하는 방식을 채택했다. 이는 에이전트가 사용자의 의도를 정확히 파악하지 못해 발생하는 반복적인 프롬프트 수정을 줄이는 데 목적이 있다. 실제 작업 과정을 데이터화하여 에이전트의 초기 학습 비용을 획기적으로 낮추는 접근법이다.

사용자의 고충부터 AgentHandover를 통한 해결 과정을 담은 3단 구성의 인포그래픽 만화이다. — Infographic에이전트에게 매번 작업을 설명해야 하는 번거로움을 AgentHandover가 사용자를 관찰하여 학습하고, 이를 통해 에이전트가 사용자와 똑같이 일하게 되는 변화를 시각적으로 설명한다. Claude Code, OpenAI Codex 등과의 연동 개념을 보여준다.

AgentHandover는 Mac 앱 또는 CLI 형태로 작동하며 사용자의 작업 과정을 VLM(Vision Language Model)을 통해 실시간으로 분석한다. 시스템은 화면 캡처를 통해 사용자의 클릭과 입력을 추적하고 이를 논리적인 단계로 구조화한다. 분석 과정에서 '초안으로 저장할지, 실제로 전송할지'와 같은 의도 파악 질문을 사용자에게 던져 모호한 부분을 해소한다. 이러한 상호작용은 에이전트가 단순한 매크로를 넘어 사용자의 실제 의사결정 로직을 복제하도록 돕는다.

추출된 작업 로직은 Claude Code의 '기술(Skill)'로 자동 변환되어 저장되며 이후 연결된 모든 에이전트가 해당 작업을 즉시 수행할 수 있게 된다. 에이전트가 기술을 실행할 때 실제 환경과의 미세한 차이로 인해 오류가 발생하면 시스템이 이를 감지한다. 감지된 오류를 바탕으로 기술 코드를 스스로 재작성하고 최적화하는 자가 개선(Self-improve) 기능을 포함했다. 이는 시간이 지날수록 에이전트의 작업 성공률이 높아지는 폐루프 학습 환경을 제공한다.

보안과 프라이버시를 최우선으로 고려하여 모든 데이터 처리는 외부 서버가 아닌 사용자의 로컬 환경에서 이루어진다. 화면 관찰이라는 민감한 기능을 수행하는 만큼 소스 코드를 GitHub에 전면 공개하여 투명성을 확보했다. 현재 11단계의 정교한 워크플로우를 통해 안정적인 기술 추출과 에이전트 전송을 지원한다. 커뮤니티의 피드백을 수용하여 다양한 환경에서의 호환성과 성능을 지속적으로 개선해 나갈 계획이다.

용어 해설

시각 언어 모델(VLM): — 이미지와 텍스트를 동시에 처리하는 모델로, 사용자의 화면 캡처를 분석하여 어떤 버튼을 누르고 어떤 텍스트를 입력했는지 파악하는 데 사용된다. 에이전트가 시각적 문맥을 이해하게 하여 텍스트 지시만으로는 부족한 복잡한 UI 조작을 학습 가능하게 한다.
코딩 에이전트(Coding Agent): — 사용자의 지시에 따라 코드를 작성, 수정, 실행하는 자율 AI 도구이다. 이 글에서는 Claude Code가 사용자의 업무를 대신 수행하는 주체로 등장하며, AgentHandover를 통해 생성된 기술을 바탕으로 특정 작업을 자동화한다.
자가 개선(Self-improvement): — 에이전트가 실행 결과의 피드백을 받아 자신의 로직이나 코드를 스스로 수정하는 능력이다. 초기 생성된 기술의 오류를 보완하고 성능을 최적화하여 인간의 개입 없이도 작업 성공률을 높이는 핵심 메커니즘으로 작용한다.

언급된 도구

AgentHandover추천

사용자의 작업을 관찰하여 에이전트 기술로 자동 변환

Claude Code중립

자율 코딩 및 작업 수행 에이전트

언급된 리소스

GitHubAgentHandover GitHub Repository