이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
Box의 CTO 벤 쿠스는 AI 기술의 반감기가 기존 인프라의 수년 단위에서 수개월 단위로 급격히 단축되었다고 경고하며 변화에 최적화된 인프라 전략을 제시한다. 작년에 권장했던 그래프 기반 에이전트 설계조차 1년 만에 구식이 될 정도로 변화가 빠르기 때문에, 특정 기술 스택에 집착하기보다 하위 계층을 언제든 교체할 수 있는 추상화 설계가 필수적이다. 기술 전환의 기준은 유행하는 논문이 아니라 실제 성능을 측정하는 평가 데이터셋(Eval sets)의 수치여야 하며, 조직적으로는 변화를 실패가 아닌 당연한 상수로 받아들이는 문화가 뒷받침되어야 한다. 결국 AI 시대의 생존 전략은 고정된 아키텍처가 아니라 급변하는 기술 생태계에 맞춰 인프라를 지속적으로 재구축할 수 있는 적응형 엔지니어링 역량에 있다.
챕터별 상세
Box의 데이터 규모와 토큰 처리의 진화
Box는 현재 1 엑사바이트 이상의 고객 데이터를 관리하며 수천억 개의 파일을 보유한 거대 플랫폼이다. 최근 생성형 AI의 부상으로 관리 대상이 파일 단위에서 토큰 단위로 확장되었으며, 이미 1조 개의 토큰을 처리하는 단계에 진입했다. 이러한 거대 규모의 비정형 데이터를 AI 에이전트가 이해하고 활용할 수 있도록 인프라를 재설계하는 과정에서 기존과는 차원이 다른 확장성 문제가 발생했다. 결국 데이터의 양뿐만 아니라 이를 처리하는 지능의 밀도가 기업용 소프트웨어의 핵심 경쟁력이 되었다.
1 엑사바이트(EB)는 약 100만 테라바이트(TB)에 해당하는 거대한 데이터 단위이다.
전통적 엔지니어링 원칙과 AI의 충돌
과거의 엔지니어링 정석은 신뢰할 수 있는 기술 스택을 선택해 깊게 파고들며 3~5년 동안 최적화하는 것이었다. 하지만 AI 시대에는 기술의 반감기가 수개월 단위로 짧아지면서 '한 번 구축해서 오래 쓰는' 전략이 불가능해졌다. 인프라 결정의 유효 기간이 극도로 짧아짐에 따라 기존의 안정성 중심 접근법은 오히려 기술 부채를 쌓는 원인이 된다. 이제는 특정 기술에 숙달되는 것보다 새로운 기술로 빠르게 전환할 수 있는 유연성이 인프라 설계의 최우선 가치가 되었다.
작년의 에이전트 설계 권고안을 철회하다
발표자인 Ben Kus는 작년 같은 무대에서 에이전트 구축을 위해 그래프 기반 접근법을 강력히 추천했으나 올해 이를 공식적으로 철회했다. 작년의 조언이 당시에는 최선이었지만, 불과 1년 만에 루핑(looping)과 계획(planning) 기반의 더 효율적인 에이전트 모델이 등장했기 때문이다. 기술적 결함이 있어서가 아니라 더 나은 대안이 너무 빨리 나타난 것이 원인이며, 이는 AI 분야에서 어제의 정답이 오늘의 오답이 될 수 있음을 시사한다. 변화를 거부하고 과거의 아키텍처를 고수하는 것이 가장 큰 위험 요소로 지목됐다.
모델 활용 및 에이전트 설계의 급격한 변화
모델 활용 방식은 직접 학습에서 프론티어 모델 사용을 거쳐, 현재는 상황에 맞는 모델을 실시간 선택하는 적응형 모델 선택(Adaptive selection)으로 진화했다. 에이전트 설계 역시 단순 호출 방식에서 체인 오브 쏘트(CoT)를 지나, 이제는 에이전트가 전용 샌드박스에서 직접 코드를 실행하며 문제를 해결하는 구조로 발전했다. Box 내부적으로도 에이전트 기술을 6개월마다 전면 재검토하며, 필요할 경우 배포 다음 날이라도 아키텍처를 변경할 준비를 한다. 이러한 속도감은 엔지니어링 팀의 운영 방식 자체를 근본적으로 바꾸어 놓았다.
검색 기술의 진화와 에이전틱 검색의 부상
전통적인 키워드 검색(BM25)에서 벡터 기반 RAG와 GraphRAG를 거쳐, 이제는 에이전트가 직접 지능을 발휘해 정보를 찾는 에이전틱 검색이 표준이 되고 있다. 하이브리드 검색이나 랭크 퓨전 같은 복잡한 기법들도 결국 에이전트의 직접 탐색 능력에 의해 대체되거나 보완되는 추세이다. Box는 비정형 데이터에서 정보를 추출할 때 에이전트가 스스로 계획을 세우고 도구를 선택하게 함으로써 검색 정확도를 획기적으로 높였다. 기술의 우위는 고정된 알고리즘이 아니라 에이전트가 데이터를 다루는 방식의 유연성에서 결정된다.
변화에 강한 인프라를 구축하는 세 가지 방법
첫째로 변화가 실패가 아닌 정상적인 과정임을 팀원들에게 교육하여 심리적 저항을 줄여야 한다. 둘째로 하위 기술 계층을 언제든 교체할 수 있도록 강력한 추상화 계층을 설계하여 기술 종속성을 최소화해야 한다. 마지막으로 새로운 기술 도입 여부는 유행이나 논문이 아닌, 실제 비즈니스 로직이 담긴 평가 데이터셋(Eval sets)의 수치 향상을 기준으로 결정해야 한다. Box는 모든 AI 기술을 6개월 주기로 검토하며, 이 과정에서 '변화에 능숙해지는 것' 자체를 조직의 핵심 역량으로 삼았다.
용어 해설
- 에이전틱 검색(Agentic Search)
- — 검색 엔진이 단순히 문서를 찾아주는 것을 넘어, AI 에이전트가 질문의 의도를 파악하고 여러 도구를 사용해 최적의 정보를 직접 탐색 및 요약하는 방식이다. 단순 키워드 매칭의 한계를 극복하고 복잡한 질의에 대해 지능적인 답변을 생성하는 데 필수적이다.
- 인프라 기술 반감기(Infrastructure Half-life)
- — 특정 기술이나 인프라 아키텍처가 최신 상태를 유지하며 가치를 제공하는 기간의 절반을 의미한다. 일반적인 소프트웨어 인프라는 3~5년의 주기를 가지지만, AI 분야는 기술 혁신 속도가 빨라 이 주기가 수개월 단위로 단축되고 있다.
- 평가 데이터셋(Eval Sets)
- — AI 모델이나 시스템의 성능을 객관적으로 측정하기 위해 사전에 정의된 입력값과 기대 출력값의 집합이다. 새로운 기술 도입 여부를 결정할 때 주관적인 판단이나 유행이 아닌, 실제 성능 향상 수치를 확인하는 근거로 사용된다.
- 그래프 기반 검색 증강 생성(GraphRAG)
- — 지식 그래프 구조를 활용해 문서 간의 관계를 파악하고 정보를 추출하는 RAG 기법이다. 단순 벡터 유사도 검색보다 복잡한 연결 구조를 가진 데이터를 이해하는 데 유리하지만, 구현 복잡도가 높다는 특징이 있다.
- 적응형 모델 선택(Adaptive Model Selection)
- — 작업의 복잡도나 비용 효율성에 따라 실시간으로 가장 적합한 LLM을 선택하여 호출하는 기술이다. 모든 요청에 고성능 모델을 쓰지 않고 간단한 작업은 소형 모델로 처리함으로써 비용과 속도를 최적화한다.
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 08. 29.수집 2026. 08. 30.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
