TL;DR
DeepSeek Harness에서 에이전트의 실패 원인을 자기 회고가 아닌 실제 입력 조작 실험으로 추적하는 dsh-trajectory-ablation 플러그인이 제작되었습니다. Reconstruct는 특정 단계 직전의 지시문과 파일, tool result를 session log에서 복원하고 Diff는 단계 사이의 변화를 비교하며, Ablate는 문맥 요소를 하나씩 제거한 동일한 model call을 반복합니다. 실제 coding task에서 failing-test error output을 제거했을 때 결정이 3/3회 바뀌었지만 task instruction과 system prompt를 제거했을 때는 각각 0/3회만 바뀌어 오류 메시지가 수정 행동의 핵심 원인으로 판정되었습니다. 앞의 두 기능은 무료이고 Ablate만 추가 model call 비용이 들며, 프로젝트는 MIT 라이선스로 공개되었습니다.
실용적 조언
- 먼저 Reconstruct로 실패 단계 직전의 전체 입력을 복원하고 Diff로 단계 사이의 변화를 좁힌 뒤, 의심되는 문맥 요소만 Ablate 대상으로 삼는 순서가 적절합니다. 앞의 두 단계는 model call이 없어 비용 부담 없이 실행할 수 있고, 마지막 단계에서만 요소별 반복 호출 횟수와 비용을 계산해야 합니다. 글의 사례처럼 제거 전후 결정을 3회씩 비교하면 단일 실행에서 얻은 추측보다 원인 판정의 근거를 강화할 수 있습니다.
섹션별 상세
이미지 분석
화면에는 저장소가 DeepSeek Harness 플러그인으로서 에이전트 context를 재구성하고 차이를 비교하며 절제하는 기능을 제공한다는 설명이 담겨 있습니다. 본문에서 제시한 Reconstruct, Diff, Ablate의 역할과 저장소의 목적을 시각적으로 뒷받침하지만, 0/3과 3/3의 실험 결과는 포함하지 않습니다.
dsh-trajectory-ablation GitHub 저장소의 이름과 에이전트 실패 원인 추적 기능이 표시된 화면입니다.
용어 해설
- 궤적 절제 실험(Trajectory Ablation)
- — 에이전트가 특정 결정을 내리기 전의 문맥에서 요소를 하나씩 제거한 뒤 동일한 model call을 반복 실행하는 방법입니다. 제거 전후 결정이 달라지는 빈도로 해당 요소가 실제 원인인지 주변 정보인지 가늠합니다.
- 문맥 재구성(Context Reconstruction)
- — 특정 실행 단계 직전에 에이전트가 접한 지시문, 파일 내용, 도구 결과를 session log에서 다시 모으는 과정입니다. 추정에 의존하지 않고 당시 입력을 그대로 확인할 수 있어 실패 원인을 추적하는 출발점이 됩니다.
- 시스템 프롬프트(System Prompt)
- — 모델 호출에 앞서 에이전트의 역할과 행동 규칙을 지정하는 지시문입니다. 이 글에서는 원래 task instruction과 함께 제거 실험의 대상이 되었으며, 해당 항목을 빼도 결정이 3회 모두 유지되었습니다.
- 모델 호출(Model Call)
- — 에이전트가 주어진 문맥을 모델에 전달해 다음 결정을 생성하도록 요청하는 실행 단위입니다. Ablate 단계는 문맥 일부만 바꾼 뒤 같은 호출을 실제로 반복하므로 별도의 model call 비용이 발생합니다.
언급된 도구
코딩 에이전트의 실행 세션을 바탕으로 trajectory를 추적하는 기반 환경이며, 플러그인은 여기에 설정된 모델을 사용합니다.
에이전트 문맥을 재구성하고 단계별 차이를 비교하며 문맥 요소를 제거한 재실행으로 실패 원인을 찾는 플러그인입니다.
dsh-trajectory-ablation 패키지를 배포하는 패키지 생태계입니다.
언급된 리소스
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
