Constraint Decay: 백엔드 코드 생성에서 LLM 에이전트의 취약성

섹션별 상세

LLM 에이전트는 느슨한 사양의 코드 생성에는 강점을 보이지만, 아키텍처 패턴이나 DB 스키마 등 엄격한 구조적 제약이 필요한 프로덕션 환경에서는 취약합니다.

연구진은 80개의 그린필드 작업과 20개의 기능 구현 작업을 통해 에이전트가 구조적 복잡성을 얼마나 잘 처리하는지 평가했습니다.

구조적 요구사항이 누적됨에 따라 에이전트의 어설션 통과율이 크게 하락하는 'Constraint Decay' 현상이 관찰되었습니다.

근거

구조적 요구사항이 누적됨에 따라 에이전트의 어설션 통과율이 크게 하락하는 'Constraint Decay' 현상이 관찰되었습니다. — Abstract 및 Findings 섹션 출처

프레임워크별 분석 결과, Flask와 같이 명시적인 구조를 가진 환경보다 Django나 FastAPI처럼 관례 중심적인 환경에서 에이전트의 성능 저하가 더 심각했습니다.

오류 분석 결과, 잘못된 쿼리 작성 및 ORM 런타임 위반과 같은 데이터 계층 결함이 에이전트 실패의 주된 원인으로 밝혀졌습니다.