Informatica가 데이터 워크플로를 수개월에서 수일로 단축하기 위해 멀티 에이전트 AI 시스템을 구축한 방법

섹션별 상세

기존 엔터프라이즈 데이터 워크플로는 검색, 거버넌스, 데이터 품질 등 각 단계가 파편화된 도구와 시스템으로 나뉘어 있어 실행에 최대 3개월이 소요되었습니다. CLAIRE는 이를 해결하기 위해 IDMC 내부에 직접 내장된 멀티 에이전트 레이어로 설계되어 자연어 요청만으로 전체 과정을 통합 실행합니다. 사용자는 일반 인터페이스인 CLAIRE GPT나 제품별 전용 코파일럿을 통해 대화형으로 워크플로를 제어할 수 있습니다. 이러한 통합 접근 방식은 수동 핸드오프를 제거하고 실행 시간을 며칠 단위로 단축하는 결과를 낳았습니다.

Data 360이 헬프 에이전트를 구동하는 방식에 대한 플로우차트 — Diagram비동기 데이터 수집 흐름과 실시간 검색 흐름을 구분하여 설명합니다. 에이전트포스(Agentforce) 신뢰 레이어를 통해 LLM 게이트웨이와 연결되는 전체적인 RAG 및 에이전트 실행 프로세스를 보여줍니다.

근거

멀티 에이전트 시스템 도입을 통해 기존에 최대 3개월이 걸리던 워크플로를 며칠 수준으로 단축했습니다. — Unified System Approach 섹션

단일 AI 에이전트는 복잡한 추론, 다양한 도구 활용, 다단계 실행을 동시에 처리할 때 컨텍스트 한계와 도구 선택 오류로 인해 시스템 붕괴를 겪었습니다. Informatica 팀은 이를 극복하기 위해 시스템을 집중된 책임을 가진 여러 에이전트로 분해하여 컨텍스트 부하를 줄이고 도구 선택 정확도를 높였습니다. 전문화된 에이전트 구조는 각 단계에서 필요한 입력과 추론 패턴을 최적화하여 실행 안정성을 확보했습니다. 이를 통해 복잡한 연산 과정에서도 일관된 출력을 생성할 수 있는 기반을 마련했습니다.

멀티 에이전트 아키텍처의 핵심은 의도 감지, 계획 생성, 실행 라우팅을 담당하는 오케스트레이션 에이전트와 특정 기술에 특화된 전문 에이전트의 분리입니다. 예를 들어 데이터 품질 에이전트는 프로파일링, 규칙 추천, 규칙 생성, 정제라는 세부 기술별로 전용 도구와 모델 구성을 갖추고 있습니다. 사용자가 실행 전 계획을 검토하고 수정할 수 있는 계획 레이어를 도입하여 유연성과 통제력을 동시에 확보했습니다. 결정론적 도구 라우팅 로직을 구현하여 에이전트가 의도에 맞는 정확한 도구를 호출하도록 강제했습니다.

CLAIRE 멀티 에이전트 시스템의 계층별 스택 뷰 — Diagram경험(Experiences), 지능(Intelligence), 기반(Foundation)으로 나뉜 아키텍처를 보여줍니다. 지능 계층 내에서 에이전트, 하네스(Harness), 언어 모델(OpenAI, Gemini, Claude 등)이 어떻게 상호작용하는지 설명합니다.

50~60회의 모델 호출이 연쇄적으로 일어나는 워크플로에서는 중간 단계의 작은 오류가 전체 실패로 이어지는 실패 전파 문제가 치명적이었습니다. 이를 방지하기 위해 에이전트 간 엄격한 데이터 계약과 검증 체크포인트를 도입하여 다음 단계로 넘어가기 전 입출력의 유효성을 검증합니다. 가드레일은 실행 초기 단계에서 이상 징후를 감지하여 실패가 하류로 확산되는 것을 차단합니다. 또한 사용자의 실시간 계획 수정에 대응하기 위해 의존성을 동적으로 재계산하는 적응형 플래너를 적용했습니다.

엔터프라이즈 환경의 비즈니스 언어를 실행 가능한 지침으로 변환하기 위해 엔티티 해소와 의도 분해를 수행하는 시맨틱 레이어를 구축했습니다. 이 레이어는 각 에이전트가 성능 저하 없이 정확한 결과물을 낼 수 있도록 필요한 만큼의 컨텍스트만 선별하여 메타데이터를 보강합니다. 시맨틱 이해가 부족할 경우 발생할 수 있는 일반적이거나 잘못된 결과를 방지하고 데이터 환경에 최적화된 실행을 보장합니다. 이는 헤드리스 실행 모드에서도 에이전트가 자율적으로 데이터 품질 평가나 규칙 검증을 수행할 수 있게 돕습니다.

시맨틱 클러스터링 파이프라인의 구성 요소를 보여주는 다이어그램 — Diagram커뮤니티 클러스터, 엔티티 클러스터, 메트릭 클러스터 등 시맨틱 레이어를 구성하는 6가지 핵심 파이프라인 단계를 설명합니다. 이 구조가 데이터의 의미적 이해를 돕고 에이전트에게 최적화된 컨텍스트를 제공하는 기반임을 시각화합니다.

프로덕션 배포를 위해 각 에이전트의 역할에 맞춘 개별 검증 프레임워크를 도입하여 단순 모델 지표가 아닌 실제 작업 완수 지표를 측정했습니다. 정제 에이전트는 코드 실행 정확도와 데이터 무결성을, 규칙 생성 에이전트는 논리적 유효성과 테스트 커버리지를 기준으로 평가받습니다. LLM-as-a-judge 스코어링과 생성된 코드에 대한 리플렉션 기반 검증 레이어를 통해 실행 전 오류를 필터링합니다. 이러한 다층적 평가 체계를 통해 데이터 품질 에이전트는 90%의 성공률과 1% 미만의 환각률을 기록하며 신뢰성을 입증했습니다.

근거

CLAIRE 시스템은 엔터프라이즈 데이터 워크플로에서 90%의 작업 성공률을 기록했습니다. — 서론 및 Accuracy, Grounding, and Reliability 섹션
데이터 품질 에이전트는 98%의 근거 정확도와 1%의 환각률을 달성했습니다. — Accuracy, Grounding, and Reliability 섹션

기술

CLAIRE
IDMC
Apache Spark
LLM
Kubernetes

활용 사례

엔터프라이즈 데이터 워크플로 자동화
데이터 품질 평가 및 정제
자율적 데이터 거버넌스 실행

언급된 리소스

문서Inside Informatica’s Spark-Based Data Integration Platform