모든 에이전트에게는 박스가 필요하다: Aaron Levie가 말하는 엔터프라이즈 AI의 미래

섹션별 상세

01

에이전트 전용 격리 환경(Sandbox)의 필수성: Aaron Levie는 '모든 에이전트에게는 박스가 필요하다'는 개념을 통해 에이전트가 안전하게 파일을 조작하고 코드를 실행할 수 있는 격리된 샌드박스 환경의 중요성을 역설한다. 에이전트는 인간과 달리 24시간 자율적으로 작동하며 대량의 데이터를 처리하므로, 권한 남용이나 보안 사고를 방지하기 위한 물리적·논리적 격리 레이어가 반드시 존재해야 한다.

02

에이전트 아이덴티티와 보안 거버넌스: 에이전트에게 기존 인간 사용자와 동일한 계정 권한을 부여하는 것은 보안상 매우 위험하다. 에이전트는 법적 책임 주체가 될 수 없고 프롬프트 인젝션 공격에 취약하기 때문에, 에이전트만의 고유한 아이덴티티를 정의하고 접근 가능한 데이터 범위를 세밀하게 제어하며 모든 활동을 추적할 수 있는 새로운 거버넌스 아키텍처가 요구된다.

03

코딩 에이전트와 지식 노동 에이전트의 환경 차이: 코딩 에이전트가 먼저 비약적인 발전을 이룬 이유는 코드베이스가 텍스트 중심의 구조화된 데이터이며 기술적 피드백 루프가 명확하기 때문이다. 반면 일반 기업의 지식 노동 데이터는 파편화되어 있고 접근 권한이 복잡하게 얽혀 있어, 에이전트가 필요한 컨텍스트를 정확히 파악하기 위해서는 훨씬 고도화된 데이터 정리와 검색 기술이 필요하다.

04

컨텍스트 엔지니어링과 에이전틱 검색의 진화: 무한한 컨텍스트 윈도우는 비용과 효율성 문제로 인해 당장 실현되기 어렵다. 따라서 수백만 개의 문서 중 핵심 정보를 선별하여 모델에 주입하는 컨텍스트 엔지니어링이 중요하며, 에이전트가 스스로 검색 결과의 품질을 판단하고 부족할 경우 재검색을 수행하는 '에이전틱 검색' 능력이 엔터프라이즈 AI의 핵심 경쟁력이 된다.

05

엔터프라이즈 에이전트 평가(Eval)의 중요성: Box는 자체적인 에이전트 평가 시스템을 통해 모델의 추론 능력과 산업별 데이터 처리 정확도를 측정한다. 기업들은 앞으로 RFP 생성, 영업 자료 작성 등 각 도메인별로 특화된 평가 지표를 구축해야 하며, 이는 에이전트가 실제 운영 환경에서 신뢰할 수 있는 결과물을 내놓는지 검증하는 필수 인프라가 될 것이다.

Claude 3.5 Sonnet의 이전 버전 대비 성능 향상 폭을 보여주는 Box의 내부 평가 결과 차트이다. — ChartClaude 3.5 Sonnet이 이전 모델인 3.0 대비 복잡한 업무 수행 능력에서 약 15% 이상의 성능 향상을 보였음을 수치로 증명한다. 이는 모델의 업데이트가 실제 엔터프라이즈 에이전트의 작업 성공률에 직접적인 영향을 미친다는 점을 시사한다.

헬스케어, 금융, 공공 부문 등 다양한 산업군별 에이전트 성능 평가 지표를 나타낸 그래프이다. — Chart산업별로 에이전트가 처리해야 하는 데이터의 특성이 다르며, 이에 따른 성능 차이가 존재함을 보여준다. 특히 금융이나 공공 부문처럼 복잡한 규제와 문서 구조를 가진 분야에서 에이전트의 추론 능력이 어떻게 개선되고 있는지 비교 분석한다.

용어 해설

에이전틱 검색(Agentic Search): — AI 에이전트가 단순히 한 번의 검색으로 끝내지 않고, 검색 결과의 품질을 스스로 평가하며 필요에 따라 쿼리를 수정하거나 추가 검색을 수행하는 지능형 검색 프로세스이다. 복잡한 엔터프라이즈 데이터 환경에서 정확한 정보를 찾아내기 위한 핵심 기술이다.
컨텍스트 엔지니어링(Context Engineering): — 대형 언어 모델의 제한된 입력 창(Context Window) 내에 가장 관련성 높고 유용한 정보를 최적의 구조로 배치하는 기술이다. 수백만 개의 문서 중 에이전트가 당장 작업에 필요한 핵심 맥락을 선별하여 주입함으로써 추론의 정확도를 높인다.
샌드박스(Sandbox): — 외부 시스템이나 실제 데이터에 영향을 주지 않도록 격리된 가상 실행 환경이다. AI 에이전트가 코드를 실행하거나 파일을 조작할 때 발생할 수 있는 보안 위협을 차단하고, 안전하게 작업을 수행할 수 있는 '박스' 역할을 한다.
프롬프트 인젝션(Prompt Injection): — 사용자의 입력값에 악의적인 지시사항을 포함시켜 AI 모델의 원래 시스템 프롬프트를 무시하고 공격자가 의도한 동작을 수행하게 만드는 보안 공격이다. 에이전트가 기업 데이터에 접근할 때 가장 경계해야 할 보안 취약점 중 하나이다.
평가 시스템(Evals): — AI 모델이나 에이전트의 성능을 정량적으로 측정하기 위한 테스트 세트와 평가 지표의 집합이다. 특정 업무 시나리오에서 에이전트가 얼마나 정확하게 작업을 수행하는지 검증하며, 모델 업데이트 시 성능 저하 여부를 판단하는 기준이 된다.

기술

Box API
Claude 3.5 Sonnet
GPT-4o
Agentic Search
Sandbox

활용 사례

엔터프라이즈 지식 관리 에이전트
자율형 법률/금융 문서 분석 시스템
보안이 강화된 AI 코딩 어시스턴트

언급된 리소스

문서Your Company is a Filesystem

DemoApex Agent Evals