런타임에서 에이전트를 관찰해 문서와 스킬 오류를 찾아낸 경험

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

에이전트가 다른 에이전트를 런타임에서 관찰하도록 만드는 방식이 문서와 스킬의 숨은 결함을 드러냈다. 이 접근은 TDD 원칙과 Nielsen의 사용자 테스트 개념을 차용해 도구가 수행할 작업을 정의하고 스킬 없이 실행해 실패를 확인한 뒤 스킬을 적용해 성공을 확인하는 레드-그린 루프를 구현함으로써 작동한다. tmux나 subprocess로 실행 로그와 행동을 직접 관찰해 '/review' 검사에서 누락된 문제를 포착한 사례가 보고되었고, 이 절차를 여러 모델에 걸쳐 반복해 스킬 파일과 문서 정확도를 개선하는 워크플로로 활용할 수 있다.

실용적 조언

작업을 명확히 텍스트로 정의하고 먼저 스킬 없이 실행해 실패 로그를 캡처한 뒤 스킬을 적용해 성공 여부를 확인하는 레드-그린 루프를 적용하라.
tmux나 subprocess를 사용해 에이전트의 표준출력과 행동을 직접 관찰하면 '/review' 같은 정적 검사에서 누락된 동작 기반 문제를 포착할 수 있다.
동일한 검증 루프를 여러 모델에서 반복 실행해 실패 패턴을 비교하고 실패 원인을 스킬 파일에 반영해 지속적으로 갱신하라.

섹션별 상세

작성자는 런타임에서 한 에이전트가 다른 에이전트를 관찰하도록 지시했고 그 결과 여러 문서 오류가 발견되어 수정되었다. 관찰은 tmux나 subprocess를 통해 에이전트 실행과 로그를 직접 확인하는 방식으로 이루어졌고 '/review'를 여러 번 실행해도 잡히지 않던 문제들이 이 과정을 통해 드러났다. 관찰 절차는 에이전트 행동을 재현하고 실패 지점을 명확히 기록하는 데 초점이 있었고, 이로 인해 문서와 스킬의 불일치가 식별되어 수정으로 이어졌다.

작성자는 TDD와 Nielsen의 사용자 테스트 개념을 참조해 에이전트 관찰을 TDD 유사 워크플로로 구조화했다. 구체적으로는 도구가 도와야 할 작업을 먼저 정의하고 해당 작업을 특정 스킬 없이 실행해 실패(레드 테스트)를 확인한 다음 그 스킬을 적용해 성공(그린 테스트)을 확인하고 실패한 스킬 파일을 갱신하는 순서를 따랐다. 이 절차는 입력(작업 정의)에서 처리(스킬 유무로 실행) 그리고 출력(성공 또는 실패)의 반복적 검증 루프를 형성하며, 각 루프에서 재현 가능한 실패를 캡처하는 것이 핵심이다.

작성자는 이 검증 루프를 여러 모델과 반복 실행하도록 권장했으며 그 과정을 통해 문서와 스킬 품질이 점진적으로 향상되었다. 반복 실행은 동일한 작업을 다른 모델에서 실행해 실패 패턴을 비교하고 실패 원인을 특정 스킬 파일에 반영하는 방식으로 이루어졌다. 글은 보다 상세한 사례와 실제 스킬 예시를 외부 블로그 링크로 연결해 재현 가능성을 지원했다.

용어 해설

테스트 주도 개발(TDD): — 테스트 주도 개발은 먼저 실패하는 테스트를 작성하고 그 테스트를 통과시키기 위해 최소한의 코드를 구현한 뒤 리팩터링하는 사이클로 구성된다. 본문 맥락에서는 에이전트 동작을 레드(실패)-그린(성공) 루프로 검증해 스킬 파일과 문서의 정확성을 개선하는 절차로 적용되었다. 반복적 검증을 통해 재현 가능한 실패를 포착하고 수정 이력을 남기는 점이 중요하다.
닐슨의 사용자 테스트(Nielsen's User Testing): — 닐슨의 사용자 테스트는 실제 사용자를 관찰해 사용성 문제를 찾아내는 방법론으로서 사용자의 실제 행동과 오류를 기반으로 개선점을 도출한다. 본문에서는 이 개념을 에이전트 간 상호작용 관찰에 응용해 사용자가 아닌 실행 중인 에이전트의 행동을 관찰해 문제를 찾아내는 방식으로 변형해 적용했다. 관찰을 통해 문서·스킬 불일치가 드러나면 해당 파일을 갱신해 재검증하는 흐름이 중요하다.
tmux: — tmux는 여러 터미널 세션을 하나의 환경에서 분리·관리해 프로세스의 입출력과 로그를 동시에 모니터할 수 있게 해주는 터미널 멀티플렉서이다. 글에서는 tmux를 이용해 에이전트 인스턴스 간의 실행 흐름과 표준출력을 병렬로 관찰해 런타임 실패를 직접 확인하는 데 활용했다. 프로세스 분리와 세션 재접속이 가능하기 때문에 장시간 실행되는 테스트에서 유용하다.
스킬 파일(Skill file): — 스킬 파일은 에이전트가 특정 작업을 수행하기 위해 호출하는 코드나 설정의 집합으로, 입력 포맷과 행동 패턴을 정의해 에이전트의 능력을 결정한다. 본문에서는 특정 스킬 없이 실행했을 때 실패가 발생하면 그 실패 지점을 기록하고 해당 스킬 파일을 수정해 재검증하는 방식으로 스킬 파일을 갱신했다. 스킬 파일의 일관성은 에이전트 동작의 신뢰성에 직접적인 영향을 미친다.

언급된 도구

tmux중립

에이전트 프로세스의 실행과 로그를 동시에 관찰하기 위한 터미널 멀티플렉서로 사용되었다

언급된 리소스

문서Make No Mistakes: Agent Usability Testing