Code-Act 방식으로 전환하여 토큰 비용을 절반으로 줄인 사례

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

ReAct 방식 대신 LLM이 한 번에 실행 가능한 코드를 생성하는 Code-Act 방식을 도입하여 토큰 비용을 50% 절감하고 안정성을 높인 사례이다.

배경

LangChain의 ReAct 방식 에이전트로 DB 조회 및 시트 작성을 수행하던 중 높은 토큰 비용과 데이터 유실 문제를 겪었다. 이를 해결하기 위해 LLM이 전체 로직을 하나의 파이썬 스크립트로 작성해 실행하는 Code-Act 방식으로 전환하고 관련 프레임워크인 Delfhos를 공개했다.

의미 / 영향

단순 자동화 작업에서 ReAct 방식의 과도한 LLM 호출이 비용과 성능 저하의 원인이 됨이 확인됐다. 코드 생성 기반의 에이전트 설계가 실무적인 대안으로 부상하고 있으며, 보안과 제어를 위한 프레임워크의 필요성이 커지고 있다.

커뮤니티 반응

작성자의 경험에 대해 긍정적인 반응이며, 특히 비용 절감 수치에 관심을 보이고 있다.

주요 논점

01찬성다수

단순 자동화 작업에는 Code-Act 방식이 비용과 안정성 면에서 훨씬 유리하다

합의점 vs 논쟁점

합의점

ReAct 방식은 중간 단계가 많아질수록 토큰 비용이 급증하고 데이터 유실 위험이 커진다
특정 작업군에서는 코드 생성 방식이 더 효율적이다

논쟁점

모든 작업에 Code-Act가 ReAct보다 우월한 것은 아니며 작업 성격에 따른 선택이 필요하다

실용적 조언

단순한 데이터 처리나 API 연동 작업에는 ReAct 대신 단일 코드 생성 방식을 우선 고려할 것
코드 실행 에이전트 도입 시 보안을 위해 인간 승인 절차를 반드시 포함할 것

섹션별 상세

DB에서 청구서를 찾아 구글 시트에 기록하는 단순 작업임에도 ReAct 설정에서는 4-5회의 LLM 호출이 발생했다. 이 과정에서 컨텍스트 윈도우가 급격히 커지고 단계 사이에서 모델이 데이터를 놓치는 실패 사례가 보고됐다. 다단계 추론 과정의 오버헤드가 단순 자동화 작업에서 병목이 됨을 확인했다.

LLM이 SQL 쿼리와 시트 쓰기 로직을 포함한 하나의 파이썬 스크립트를 한 번에 생성하도록 구조를 변경했다. 생성된 코드는 단일 실행 환경에서 모든 작업을 완수하므로 중간 단계마다 LLM의 판단을 구할 필요가 없다. 이 결과로 전체 토큰 사용량이 약 50% 감소했으며 실행 과정이 훨씬 깔끔해졌다.

Code-Act 방식의 효율성을 유지하면서도 권한 제어와 인간 승인 게이트를 관리하기 위해 Delfhos라는 소규모 프레임워크를 구축했다. 기존 에이전트 도구들이 제공하던 안전장치를 코드 실행 방식에 결합하려는 시도이다. 현재 오픈소스로 공개되어 초기 피드백을 수집 중이다.

중간 관찰 결과에 따라 동적으로 대응해야 하는 작업에는 여전히 ReAct 방식이 적합하다는 점을 인정했다. 그러나 일련의 확정적인 작업 흐름이 있는 대다수의 업무에는 Code-Act가 더 효율적인 도구라는 결론을 내렸다. 작업의 성격에 따른 아키텍처 선택의 중요성을 확인했다.

실무 Takeaway

단순 데이터 이동 및 처리 작업에는 ReAct보다 LLM이 코드를 한 번에 작성하는 Code-Act 방식이 토큰 비용 면에서 50% 더 효율적이다.
ReAct 방식은 단계별 호출로 인해 컨텍스트가 누적되어 데이터 유실 위험이 있으나, Code-Act는 단일 스크립트 실행으로 데이터 일관성을 보장한다.
코드 실행 방식의 보안 문제를 해결하기 위해 권한 제어와 인간 승인 절차가 포함된 Delfhos 프레임워크를 활용할 수 있다.
작업의 복잡도와 중간 피드백 필요 여부에 따라 ReAct와 Code-Act 아키텍처를 전략적으로 선택해야 한다.

언급된 도구

LangChain중립

에이전트 및 생태계 구축 프레임워크

Delfhos추천

Code-Act 방식의 권한 제어 및 승인 게이트 관리 프레임워크

언급된 리소스

문서Delfhos Documentation