정적 템플릿에서 동적 런타임 그래프까지: LLM 에이전트 워크플로 최적화 서베이

LLM 시스템이 단순한 채팅을 넘어 복잡한 작업을 수행하는 에이전트로 진화함에 따라, 여러 단계를 어떻게 연결하고 최적화할지가 핵심 과제가 되었다. 이 논문은 산재해 있던 에이전트 설계 기법들을 에이전트 계산 그래프(ACG)라는 통일된 관점으로 정리하여, 효율적이고 견고한 시스템을 구축할 수 있는 가이드를 제공한다.

기존의 LLM 시스템은 주로 단일 프롬프트에 대한 응답 품질을 높이는 데 집중해 왔다. 하지만 복잡한 문제를 해결하기 위해 LLM이 도구를 사용하고, 코드를 실행하며, 스스로를 검증하는 에이전트 방식이 도입되면서, 개별 모델의 성능보다 이 과정들을 어떻게 엮느냐는 워크플로 구조가 전체 성능의 병목이 되기 시작했다.

이 논문은 워크플로를 딥러닝의 계산 그래프와 유사한 에이전트 계산 그래프(ACG)로 바라본다. 마치 신경망에서 레이어 간의 연결 방식이 성능에 영향을 주듯, 에이전트 시스템에서도 LLM 호출 간의 데이터 흐름과 제어 로직이 핵심이다. 고정된 파이프라인(정적)은 예측 가능하지만 유연성이 부족하고, 매번 구조를 새로 짜는 방식(동적)은 유연하지만 검증이 어렵다는 한계가 있다.

결국 핵심 아이디어는 언제, 무엇을, 어떤 신호로 최적화할 것인가를 결정하는 것이다. 프롬프트 튜닝이 노드 내부의 파라미터를 최적화하는 것이라면, 그래프 최적화는 노드 간의 연결 구조 자체를 학습하거나 검색하는 과정이다. 이를 통해 단순한 성능 향상을 넘어 비용 대비 효율성과 시스템의 견고성을 동시에 확보할 수 있게 된다.

ACG 템플릿 정의: 워크플로를 G = (V, E, Φ, Σ, A)로 정형화했다. 여기서 V는 노드(LLM 호출, 도구 등), E는 엣지(의존성), Φ는 노드 파라미터(프롬프트 등), Σ는 스케줄링 정책, A는 허용된 편집 액션을 의미한다.

정적 최적화(Static Optimization): 배포 전 오프라인 단계에서 MCTS(Monte Carlo Tree Search)나 진화 알고리즘을 사용해 최적의 템플릿 구조를 검색하거나, DSPy와 같이 고정된 구조 내에서 프롬프트/데모를 최적화하는 기법들을 분석했다.

동적 최적화(Dynamic Optimization): 실행 시점에 입력에 따라 서브그래프를 선택(Selection), 새로운 그래프를 생성(Generation), 또는 실행 중 피드백에 따라 구조를 수정(Editing)하는 런타임 적응 메커니즘을 체계화했다.

피드백 및 업데이트 루프: 최적화를 가이드하는 신호로 스칼라 메트릭, 유닛 테스트와 같은 검증기(Verifier), 인간의 선호도(Preference), 실행 로그 기반의 텍스트 피드백(Trace-derived feedback)을 정의하고 각각의 활용 사례를 매핑했다.

77개의 주요 연구를 분석한 결과, 정적 최적화는 API가 안정적이고 작업이 반복적일 때 비용 효율적이며 디버깅이 용이한 것으로 나타났다. 반면, 작업의 이질성이 높고 환경 변화가 잦은 경우에는 동적 최적화가 필수적이지만, 구조적 신용 할당(Structural Credit Assignment) 문제로 인해 학습 난이도가 높다.

검증기(Verifier)의 역할 분석: 유닛 테스트나 스키마 체크와 같은 저비용 검증기는 워크플로의 조기 종료나 경로 수정을 가능하게 하여 성능을 크게 향상시킨다. 특히 코드 생성 분야에서 이러한 검증 기반의 최적화가 가장 큰 효과를 보였다.

비용-품질 트레이드오프: 워크플로 최적화는 단순히 성능만 높이는 것이 아니라, 실행 비용(토큰 사용량, 지연 시간)과의 균형을 맞추는 과정이다. 많은 연구들이 소프트 오브젝티브(Soft Objective)를 통해 비용 효율적인 에이전트 구조를 탐색하고 있음을 확인했다.

ACG 추상화: 워크플로를 실행 가능한 그래프로 모델링하여, 노드 수준(Local)과 그래프 수준(Global)의 최적화를 분리했다. 이는 기존의 프롬프트 엔지니어링과 아키텍처 설계를 통합된 시각에서 다룰 수 있게 한다.

구조 결정 시간(GDT) 및 가변성 모드(GPM): 워크플로의 동적 수준을 정량화하기 위해 GDT(Offline, Pre-execution, In-execution)와 GPM(None, Select, Generate, Edit)이라는 지표를 도입했다.

수학적 정형화: 워크플로 최적화 문제를 작업 품질 R(τ; x)와 실행 비용 C(τ)의 가중 합을 최대화하는 max E[R - λC] 형태로 정의하여, 품질-비용 트레이드오프를 수식화했다.

신용 할당 문제: 동적 워크플로에서 특정 결과가 어떤 노드나 엣지 때문에 발생했는지 판별하는 구조적 신용 할당이 향후 연구의 핵심 과제임을 명시했다.

현재의 워크플로 최적화 연구들은 벤치마크 데이터에 과적합되거나, 참조 워크플로와의 일관성이 부족한 경우가 많다. 또한, 환경 변화(API 업데이트 등)에 따른 지속적인 적응(Continual Adaptation) 비용에 대한 분석이 아직 부족하다.