Code-Act 방식으로 전환하여 토큰 비용을 절반으로 줄인 사례

실용적 조언

단순한 데이터 처리나 API 연동 작업에는 ReAct 대신 단일 코드 생성 방식을 우선 고려할 것
코드 실행 에이전트 도입 시 보안을 위해 인간 승인 절차를 반드시 포함할 것

섹션별 상세

DB에서 청구서를 찾아 구글 시트에 기록하는 단순 작업임에도 ReAct 설정에서는 4-5회의 LLM 호출이 발생했다. 이 과정에서 컨텍스트 윈도우가 급격히 커지고 단계 사이에서 모델이 데이터를 놓치는 실패 사례가 보고됐다. 다단계 추론 과정의 오버헤드가 단순 자동화 작업에서 병목이 됨을 확인했다.

LLM이 SQL 쿼리와 시트 쓰기 로직을 포함한 하나의 파이썬 스크립트를 한 번에 생성하도록 구조를 변경했다. 생성된 코드는 단일 실행 환경에서 모든 작업을 완수하므로 중간 단계마다 LLM의 판단을 구할 필요가 없다. 이 결과로 전체 토큰 사용량이 약 50% 감소했으며 실행 과정이 훨씬 깔끔해졌다.

Code-Act 방식의 효율성을 유지하면서도 권한 제어와 인간 승인 게이트를 관리하기 위해 Delfhos라는 소규모 프레임워크를 구축했다. 기존 에이전트 도구들이 제공하던 안전장치를 코드 실행 방식에 결합하려는 시도이다. 현재 오픈소스로 공개되어 초기 피드백을 수집 중이다.

중간 관찰 결과에 따라 동적으로 대응해야 하는 작업에는 여전히 ReAct 방식이 적합하다는 점을 인정했다. 그러나 일련의 확정적인 작업 흐름이 있는 대다수의 업무에는 Code-Act가 더 효율적인 도구라는 결론을 내렸다. 작업의 성격에 따른 아키텍처 선택의 중요성을 확인했다.

용어 해설

리액트 기법(ReAct): — Reason and Act의 약자로, LLM이 추론과 행동을 번갈아 수행하며 문제를 해결하는 프롬프팅 기법이다. 단계별로 환경을 관찰하고 다음 행동을 결정하므로 유연하지만, 호출 횟수가 많아져 토큰 비용이 증가하고 긴 작업에서 문맥을 잃을 위험이 있다. 복잡한 추론이 필요한 작업에 주로 사용된다.
코드 실행 방식(Code-Act): — LLM이 텍스트 설명이나 개별 도구 호출 대신, 전체 로직을 포함한 실행 가능한 코드를 직접 생성하여 작업을 완수하는 에이전트 아키텍처이다. 단일 실행 환경에서 모든 처리가 이루어지므로 LLM 호출 횟수를 획기적으로 줄여 비용을 절감하며, 데이터 전달 과정의 오류를 최소화하는 장점이 있다.
컨텍스트 윈도우(Context Window): — LLM이 한 번에 기억하고 처리할 수 있는 텍스트 데이터의 최대 범위를 의미한다. 에이전트가 여러 단계를 거치며 대화가 길어지면 이 창의 한계에 도달하게 되며, 이는 이전 단계의 중요한 데이터를 유실하거나 모델의 성능이 저하되는 주요 원인이 된다. 효율적인 관리가 필수적이다.
인간 개입 루프(Human-in-the-loop): — AI 에이전트의 자동화 과정 중 중요한 결정이나 위험한 작업 직전에 인간의 개입과 승인을 거치도록 설계하는 방식이다. 시스템의 안전성과 신뢰성을 확보하기 위한 필수적인 장치로, 특히 LLM이 생성한 코드를 직접 실행하는 환경에서 보안 사고를 예방하는 역할을 한다.

언급된 도구

LangChain중립

에이전트 및 생태계 구축 프레임워크

Delfhos추천

Code-Act 방식의 권한 제어 및 승인 게이트 관리 프레임워크

언급된 리소스

문서Delfhos Documentation