8k 토큰 제한 환경을 위한 CLI 코딩 에이전트 설계 전략

작성자의 접근 방식에 대해 긍정적인 반응이 많으며, 특히 로컬 LLM 사용자들 사이에서 실용적인 해결책으로 평가받고 있다.

• 작은 모델을 사용할 때는 출력물에서 Markdown 백틱(```)을 프롬프트로 막으려 하지 말고 사후 처리(Post-processing)로 제거하는 것이 더 안정적이다
• 파일이 150줄 이상일 경우 전체를 넣지 말고 라인 인덱스를 생성해 필요한 부분만 추출하는 로직을 구현하라

토큰 예산 관리(Token Budgeting)

— LLM의 제한된 컨텍스트 윈도우 내에서 시스템 프롬프트, 출력 예약분, 메모리, 실제 코드가 차지할 공간을 사전에 계산하고 할당하는 기술이다. 8k와 같은 작은 컨텍스트 환경에서 모델이 입력을 처리하지 못하고 끊기는 현상을 방지하기 위해 필수적이다.

의존성 그래프(Dependency Graph)

— 여러 작업 간의 선후 관계를 구조화한 데이터 모델이다. 코딩 에이전트가 여러 파일을 수정할 때 어떤 파일을 먼저 처리해야 하는지 결정하며, 의존성이 없는 작업들을 병렬로 실행하여 전체 처리 속도를 높이는 데 사용된다.

컨텍스트 윈도우(Context Window)

— LLM이 한 번에 처리할 수 있는 최대 토큰 양을 의미한다. 본문에서는 200k 이상의 대형 윈도우를 가정하는 기존 도구와 달리 8k 수준의 좁은 윈도우에서 효율적으로 작동하기 위한 전략을 다룬다.