AI 에이전트 컨퍼런스 후기: 프롬프트 아키텍처의 범용화와 새로운 해자로서의 '신뢰'

실용적 조언

에이전트 스타트업을 준비한다면 단순 기능 구현보다 SOC2 인증이나 법적 책임 보장 등 기업용 신뢰 구축에 집중할 것
데이터 연동 시 MCP와 같은 표준 프로토콜을 선제적으로 채택하여 범용성을 확보할 것
내부 개발 효율성을 극대화하여 인당 ARR 지표를 관리할 것

섹션별 상세

스타트업 평가 지표가 엔지니어당 ARR(연간 반복 매출)로 이동하고 있다. AI가 코딩 노동력을 대체하면서 기업이 얼마나 많은 개발자를 보유했느냐보다 적은 인원으로 얼마나 큰 매출을 창출하는지가 효율성의 척도가 되었다. 이는 엔지니어링 비용이 0에 수렴하는 시대를 반영하며, 전통적인 소프트웨어 개발 중심의 해자가 붕괴되고 있음을 시사한다.

현재 컨퍼런스에서 판매되는 대부분의 에이전트 관리 도구는 '바이브 코딩'으로 단기간에 복제 가능하다. 관측성(Observability), 거버넌스, 데이터 통합 층은 겉보기에 마법 같지만 실제로는 LLM 위의 프롬프트 아키텍처와 데이터 입력 계층의 조합에 불과하다. 도메인 지식만 있다면 누구나 유사한 기능을 구현할 수 있어 기술적 차별화가 어려워지고 있다.

프롬프트 아키텍처는 텍스트 기반이므로 이식성이 높고 폐쇄적인 해자가 되기 어렵다. 법률 AI 플랫폼 Harvey처럼 도메인 전문가를 고용해 전문성을 인코딩하는 방식은 현재는 유효하지만, 결국 오픈소스 프롬프트 마켓플레이스와의 속도 경쟁에서 밀릴 가능성이 크다. 지식 자체가 LLM의 사전 학습 데이터에 통합되면서 독점적인 프롬프트의 가치는 점차 하락할 것으로 예측된다.

데이터 접근 표준인 MCP(Model Context Protocol)의 등장은 기존 데이터 통합 솔루션들의 마진을 압박한다. 과거 웹 초기에 레거시 데이터를 웹 UI로 개방하던 시절처럼 에이전트용 데이터 인프라 수요는 폭증하고 있으나, 표준화가 진행될수록 고객사 내부 팀이 직접 구축하거나 더 나은 오픈소스 대안을 선택할 위험이 커진다.

미래의 실질적인 해자는 기술이 아닌 '신뢰'와 '리스크 전가'에서 발생할 것이다. 기술이 범용화되어 누구나 주말 사이에 경쟁 제품을 만들 수 있는 상황에서, 금융권 같은 대형 고객이 비싼 비용을 지불하는 이유는 SOC2 인증, 법적 책임 보장, 보험 대행 등 리스크를 대신 짊어질 주체가 필요하기 때문이다. 결국 에이전트 산업은 금융 기술(FinTech)이나 보험 모델과 결합된 형태로 진화할 가능성이 높다.

용어 해설

엔지니어당 연간 반복 매출(ARR per Engineer): — 기업의 연간 반복 매출(ARR)을 전체 엔지니어 수로 나눈 지표이다. AI가 코딩과 운영을 자동화함에 따라 적은 인원으로도 높은 매출을 올리는 효율성이 스타트업 평가의 핵심 척도가 되고 있다.
토큰 마진 과금(Token Markup): — LLM 사용 시 발생하는 토큰 비용에 일정 마진을 붙여 고객에게 청구하는 수익 모델이다. 소프트웨어 가치보다 추론 비용에 연동되므로 기술이 범용화될수록 수익성이 압박받는 구조적 특징이 있다.
모델 컨텍스트 프로토콜(Model Context Protocol): — AI 모델이 외부 데이터 소스나 도구에 표준화된 방식으로 접근할 수 있게 해주는 개방형 프로토콜이다. 데이터 연동 방식을 표준화함으로써 특정 벤더의 데이터 통합 솔루션에 대한 의존도를 낮추는 역할을 한다.
바이브 코딩(Vibe Coding): — 엄격한 설계나 전통적인 개발 공정 없이 LLM과 대화하며 직관적으로 코드를 생성하고 수정하는 개발 방식이다. 엔지니어링 숙련도보다 도메인 지식과 프롬프트 제어 능력이 개발 속도를 결정하게 된다.
데이터 기질/기반(Data Substrate): — 에이전트가 추론하고 행동할 수 있도록 파이프라인, 데이터베이스, 커뮤니케이션 툴 등을 연결한 통합 데이터 계층이다. 에이전트가 웹 앱보다 100~1000배 많은 데이터를 요구함에 따라 이를 관리하는 인프라의 중요성이 커지고 있다.

언급된 도구

MCP추천

모델과 데이터 소스 간의 표준화된 컨텍스트 연결 프로토콜

Harvey중립

변호사들의 전문 지식을 활용한 법률 특화 AI 플랫폼