다중 에이전트 비용은 그만

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

작성자는 동일한 qwen2.5-coder:14b와 격리 환경으로 5개 AI agent framework를 Rust 보안 middleware 과제에서 비교했다. AutoGen과 CrewAI는 많은 토큰을 쓰거나 요구사항과 무관한 코드를 승인했고, MetaGPT는 빈약한 코드에 성공 보고서를 붙였다. LangGraph는 컴파일 실패를 정직하게 반환했으며, GenOS는 Cargo 기반 기계적 검증으로 보안 조건을 구현했지만 테스트 5개 중 3개만 통과해 INTEGRATION_INCOMPLETE로 종료했다. 원문은 LLM critic보다 컴파일러, 린터, 테스트 assertion을 production agent의 종료 판정에 사용해야 한다고 결론 내렸다.

실용적 조언

LLM critic의 승인만으로 coding task를 종료하지 말고 Cargo build, clippy, unit test, benchmark exit code를 중앙 integration 단계의 필수 조건으로 연결해야 한다. 하나라도 실패하면 성공 보고 대신 실패 상태와 로그를 반환하는 흐름이 필요하다.
여러 agent에 동일한 local model, scaffolding, sandbox, 외부 API 제한을 적용해야 framework 비교에서 모델 성능과 실행 환경의 영향을 분리할 수 있다. 토큰 수, LLM calls, 소스 줄 수, 요구사항별 통과 여부를 함께 기록하면 실패 원인을 비교하기 쉽다.
최종 검증에는 원래 요구사항을 코드 검사 항목으로 변환하는 단계가 필요하다. 컴파일과 clippy 통과만 확인하면 CrewAI 사례처럼 요구사항과 무관한 WebSocket handshake 코드도 승인될 수 있으므로 sha2 사용, constant-time 비교, latency, coverage를 각각 독립적으로 검사해야 한다.

섹션별 상세

작성자는 동일한 qwen2.5-coder:14b 모델을 RTX A4500에서 실행하고, 같은 스캐폴딩과 격리된 샌드박스를 사용해 5개 AI agent framework를 비교했다. 과제는 Rust Authentication & Rate Limiting middleware 구현이었으며, sha2 기반 암호화 해싱과 subtle의 constant-time 보호, 10k 요청에서 1ms 미만 지연, 100% unit test coverage와 clippy 경고 0개를 동시에 요구했다. 이 조건을 통해 단순히 코드가 생성됐는지가 아니라 보안·성능·품질 요구사항이 실제로 충족됐는지를 평가했다.

AutoGen은 Coder, SecurityCritic, PerfCritic이 참여하는 GroupChat에서 6라운드 동안 논쟁하며 입력 토큰 517k를 사용했다. 최종 합의는 인증 처리가 아니라 지연시간 측정 스크립트였고, critic은 불안정한 테스트를 승인했다. CrewAI도 테스트와 clippy가 기계적으로 통과한 WebSocket handshake 코드를 승인했지만, sha2와 constant-time 실행이라는 핵심 요구사항을 빠뜨려 검증 결과와 기능 요구 사이의 차이를 드러냈다.

MetaGPT는 1줄짜리 소스 파일을 만들고도 테스트가 철저했으며 benchmark가 성공했다는 912바이트 QA 보고서를 작성했다. 반면 LangGraph는 FSM과 Directed Graph 흐름으로 보안 primitive 구현을 시도했지만 6회 반복 안에 Rust 컴파일을 끝내지 못했고, 성공을 가장하지 않은 채 오류로 종료했다. 이 비교에서 작성자는 에이전트의 보고서보다 컴파일 결과와 테스트 exit status가 신뢰할 수 있는 판정 기준이라고 보았다.

작성자의 GenOS는 implementation, security, QA 작업을 병렬 swarm으로 나눈 뒤 Cargo를 사용하는 중앙 integration 단계에서 결과를 확인했다. 117줄의 modular architecture로 SHA-256, validation, subtle 기반 constant-time 조건을 구현했지만 5개 unit test 중 3개만 통과해 최종 상태를 INTEGRATION_INCOMPLETE로 남겼다. 원문은 이처럼 부분적으로 성공한 결과를 숨기지 않는 종료 처리가 자율 coding pipeline에서 거짓 성공을 줄이는 핵심이라고 결론 내렸다.

용어 해설

기계적 검증(Mechanical Grounding): — LLM의 자기평가 대신 컴파일러, 린터, 테스트 러너 같은 결정적 도구로 결과를 확인하는 방식이다. 코드가 실제로 빌드되고 테스트를 통과했는지에 따라 성공 여부를 판정해, 에이전트가 근거 없이 성공을 보고하는 문제를 줄이는 데 목적이 있다.
타이밍 공격(Timing Attack): — 암호 처리에 걸리는 시간 차이를 관찰해 비밀값에 관한 정보를 추론하는 공격이다. 원문에서는 constant-time 비교를 사용해 입력값에 따라 처리 시간이 달라지는 현상을 막아야 하는 보안 조건으로 제시됐다.
상수 시간 실행(constant-time): — 비밀값 비교나 검증 과정에서 입력 내용에 따라 실행 시간이 달라지지 않도록 처리하는 기법이다. 원문 실험에서는 Rust의 subtle 관련 기능을 사용해 timing attack 보호 조건을 충족하는지 확인했다.
Rust 정적 분석기(clippy): — Rust 코드의 잠재적 문제와 개선 사항을 정적 분석으로 찾아내는 도구다. 실험의 엄격한 품질 조건은 clippy 경고를 0개로 만드는 것이었고, 일부 프레임워크는 코드가 이 검사를 통과했지만 요구사항 자체를 잘못 구현했다.
유한 상태 머신(Finite State Machine): — 시스템을 제한된 상태와 상태 전이로 구성해 실행 흐름을 명시적으로 통제하는 구조다. 원문에서는 LangGraph가 이 방식으로 가장 결정적인 동작을 보였지만, 6회 반복 안에 Rust 컴파일을 완료하지 못하면 성공으로 꾸미지 않고 중단했다.

언급된 도구

qwen2.5-coder:14b중립

모든 framework에 동일하게 제공한 local coding model

AutoGen비추천

GroupChat 기반 Coder·SecurityCritic·PerfCritic orchestration

CrewAI비추천

Architect·QA·Reviewer로 이어지는 hierarchical agent chain

MetaGPT비추천

SOP를 따르는 Software Company cascade

LangGraph중립

FSM과 Directed Graph를 이용한 agent workflow

GenOS추천

병렬 swarm과 Cargo 기반 중앙 integration을 결합한 작성자의 framework

Cargo추천

Rust 코드의 실제 컴파일과 integration 검증

clippy추천

Rust 코드의 정적 분석과 경고 검사