aarohim24/Traject — Self-hosted LLM 비용 가시성과 에이전트 궤적 압축 도구

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

에이전트 루프는 매 스텝 이전 단계 전체를 재전송하므로 컨텍스트 크기와 비용이 빠르게 증가한다. Traject는 요청이 외부로 나가기 전에 반복된 툴 출력은 중복 제거하고 대량 노이즈는 요약하는 방식으로 작동하며 에러 라인과 파일:라인 참조, SHA 같은 핵심 참조는 보존한다. 공개된 49개 SWE-bench 궤적에서 43에서 45퍼센트 토큰 절감이 보고되었고 섀도우 모드와 MCP 기반 복구로 안전성을 확보하도록 설계되었다. 작성자는 LangChain 트래픽에서 섀도우 모드로 실행해 실패 사례와 포맷 취약점을 보고해 달라고 요청하며 한 벤치마크만으로 일반화할 수 없음을 명시했다.

실용적 조언

Traject를 적용할 때는 우선 섀도우 모드로 기존 LLM 객체에 패치를 적용하여 실제 요청에 변화를 주지 않고 절감량과 오류 사례를 수집해야 한다. 섀도우 로그에서 토큰 절감 비율과 사실 보존 체크 결과를 비교해 신뢰 한계를 정하고 라이브 전환을 결정해야 한다. 다양한 체인과 툴 출력 형식을 대상으로 소규모 파일을 가진 워크로드부터 점진적으로 확대 테스트를 진행하는 것이 권장된다.

섹션별 상세

에이전트 루프에서 매 스텝이 이전 단계 전체를 그대로 재전송하면 컨텍스트 크기가 선형으로 증가하여 비용이 빠르게 확대되는 문제가 발생한다. 입력으로 과거 단계 전체가 들어오면 LLM은 동일한 툴 호출과 중복된 추론 흔적을 반복적으로 처리해야 하므로 토큰 사용량과 청구액이 비례해 증가한다. 작성자는 이 현상이 버그가 아니라 컨텍스트 윈도우 동작의 자연스러운 결과라고 지적하면서 비용 증가의 원인과 구조를 명확히 했다. 이 문제는 장기 대화나 복잡한 툴 체인을 사용하는 에이전트에서 비용 최적화가 필요하다는 점을 실무적으로 부각시킨다.

Traject는 요청이 외부로 나가기 전에 궤적을 압축하는 방식으로 작동하며 구체적으로 반복되는 툴 출력은 중복 제거하고 대량 노이즈는 요약하되 에러 라인, 파일:라인 참조, SHA 같은 중요 참조는 보존한다. 압축은 기존 LLM 객체에 세 줄의 패치만 적용하고 콜 사이트 변경 없이 동작하도록 설계되어 통합 비용을 낮춘다. 저자는 49개의 실제 SWE-bench 에이전트 궤적에서 43에서 45퍼센트의 토큰 절감을 보고하며 별도의 사실 보존 검사를 병행했다고 명시했다. 해당 수치는 압축 기법이 비용을 실질적으로 낮출 수 있음을 보여주며 재현 가능한 데이터셋이 공개되어 검증 가능하다.

기본 동작은 섀도우 모드에서 먼저 절감량을 관측하고 기록하는 것으로서 라이브 트래픽을 건드리지 않고도 효과와 위험을 평가할 수 있다. 섀도우 모드 동안에는 실제 요청을 변경하지 않으므로 시스템 전체 동작에는 영향이 없고 운영자가 수집된 로그를 보고 신뢰가 쌓이면 라이브로 전환할 수 있다. 또한 삭제된 내용은 MCP 도구를 통해 복구 가능한 가역적 처리로 설계되어 데이터 손실 위험을 낮추었다. 이런 설계는 자체 호스팅과 MIT 라이선스로 운영되는 점과 결합해 보안과 통제 요구가 있는 환경에서 도입 장벽을 낮춘다.

작성자는 Traject를 실제 LangChain 트래픽에서 섀도우 모드로 실행해 깨지는 체인이나 손상된 툴 출력을 보고해 달라고 요청했고 한 벤치마크만으로 일반화할 수 없다는 점을 직접 밝혔다. 이 요청은 단일 데이터셋에서 검증된 수치가 다른 툴 체인, 다양한 출력 형식, 예외 케이스에서 동일하게 유지되는지를 실무적으로 확인해야 한다는 의미를 담고 있다. 따라서 도구의 한계와 실패 모드를 찾기 위해 다양한 체인과 에이전트 구성에서 재현 실험이 필요하며 현업 검증 결과가 누적되어야만 범용성 판단이 가능하다.

용어 해설

에이전트 궤적 압축(Trajectory Compression): — 에이전트 궤적 압축은 대화형 에이전트가 생성한 단계별 입력과 도구 호출 로그를 중복 제거와 요약으로 줄여 컨텍스트 크기를 감소시키는 기법이다. 이 방식은 반복되는 툴 출력이나 로그를 dedupe하고 불필요한 텍스트를 요약함으로써 전송 토큰을 절감한다. 토큰 절감은 추론 비용과 대역폭을 낮추며 장기 상태 유지가 필요한 에이전트 워크로드에서 비용 효율성을 확보한다.
컨텍스트 윈도우(Context Window): — 컨텍스트 윈도우는 LLM이 한 번의 입력으로 처리할 수 있는 최대 토큰 길이를 의미한다. 에이전트 루프에서는 이전 단계 전체를 컨텍스트로 재전송하다가 윈도우 한도를 초과하면 정보 손실이나 비용 급증이 발생한다. 윈도우 한계를 관리하기 위해 불필요한 중복을 제거하거나 요약하는 전략이 필요하다.
중복 제거(Deduplication): — 중복 제거는 동일한 텍스트 조각이나 도구 출력이 반복될 때 한 번만 전송하도록 필터링하는 과정이다. 에이전트 루프에서는 동일한 툴 호출 결과나 반복된 로그가 여러 단계에 걸쳐 재전송되므로 deduplication이 토큰 사용을 줄이는 핵심 수단이 된다. 효과적인 중복 제거는 중요한 참조 정보는 보존하면서 반복된 노이즈를 제거하는 정교한 비교와 해시 전략을 필요로 한다.
섀도우 모드(Shadow Mode): — 섀도우 모드는 실제 요청을 변경하지 않고 감시와 로깅만 수행하여 새로운 처리기를 검증하는 운영 방식이다. 트래픽을 중단 없이 관찰하면서 절감량과 문제점을 측정하고 신뢰성이 확인되면 라이브 전환을 허용한다. 이 모드는 안전하게 절감 효과를 계측하고 리스크를 최소화하는 데 사용된다.

언급된 도구

Traject추천링크

LangChain 에이전트의 요청 전 궤적 압축과 중복 제거로 토큰 사용을 줄이는 라이브러리

LangChain중립링크

에이전트 오케스트레이션과 툴 체인 구성을 위한 라이브러리

언급된 리소스

GitHubTraject GitHub repository