Informatica가 데이터 워크플로를 수개월에서 수일로 단축하기 위해 멀티 에이전트 AI 시스템을 구축한 방법

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

Informatica는 기존에 수개월이 소요되던 복잡한 데이터 관리 워크플로를 자동화하기 위해 멀티 에이전트 AI 시스템인 CLAIRE를 개발했습니다. 단일 에이전트 시스템이 가진 컨텍스트 제한과 추론 오류 문제를 해결하기 위해 오케스트레이션 에이전트와 도메인별 전문 에이전트로 역할을 분리한 아키텍처를 채택했습니다. 이 시스템은 요청당 50~60회의 모델 호출을 수행하며 데이터 품질, 거버넌스, 파이프라인 실행을 통합적으로 처리합니다. 결과적으로 데이터 품질 에이전트 기준 90%의 작업 성공률과 98%의 근거 정확도를 달성하며 엔터프라이즈급 신뢰성을 확보했습니다.

배경

멀티 에이전트 시스템(Multi-Agent System)의 기본 개념, 데이터 거버넌스 및 파이프라인 오케스트레이션에 대한 이해, LLM 기반 애플리케이션의 컨텍스트 윈도우 및 추론 한계에 대한 지식

대상 독자

엔터프라이즈 데이터 관리 시스템을 설계하거나 멀티 에이전트 AI 아키텍처를 프로덕션에 도입하려는 소프트웨어 엔지니어 및 아키텍트

의미 / 영향

이 사례는 복잡한 기업용 워크플로에서 단일 LLM의 한계를 멀티 에이전트 구조로 극복할 수 있음을 보여줍니다. 특히 에이전트별 맞춤형 평가 지표와 시맨틱 레이어의 중요성을 강조하며, AI가 단순 보조 도구를 넘어 자율적인 실행 주체로 진화하는 방향성을 제시합니다.

섹션별 상세

기존 엔터프라이즈 데이터 워크플로는 검색, 거버넌스, 데이터 품질 등 각 단계가 파편화된 도구와 시스템으로 나뉘어 있어 실행에 최대 3개월이 소요되었습니다. CLAIRE는 이를 해결하기 위해 IDMC 내부에 직접 내장된 멀티 에이전트 레이어로 설계되어 자연어 요청만으로 전체 과정을 통합 실행합니다. 사용자는 일반 인터페이스인 CLAIRE GPT나 제품별 전용 코파일럿을 통해 대화형으로 워크플로를 제어할 수 있습니다. 이러한 통합 접근 방식은 수동 핸드오프를 제거하고 실행 시간을 며칠 단위로 단축하는 결과를 낳았습니다.

Data 360이 헬프 에이전트를 구동하는 방식에 대한 플로우차트 — Diagram비동기 데이터 수집 흐름과 실시간 검색 흐름을 구분하여 설명합니다. 에이전트포스(Agentforce) 신뢰 레이어를 통해 LLM 게이트웨이와 연결되는 전체적인 RAG 및 에이전트 실행 프로세스를 보여줍니다.

단일 AI 에이전트는 복잡한 추론, 다양한 도구 활용, 다단계 실행을 동시에 처리할 때 컨텍스트 한계와 도구 선택 오류로 인해 시스템 붕괴를 겪었습니다. Informatica 팀은 이를 극복하기 위해 시스템을 집중된 책임을 가진 여러 에이전트로 분해하여 컨텍스트 부하를 줄이고 도구 선택 정확도를 높였습니다. 전문화된 에이전트 구조는 각 단계에서 필요한 입력과 추론 패턴을 최적화하여 실행 안정성을 확보했습니다. 이를 통해 복잡한 연산 과정에서도 일관된 출력을 생성할 수 있는 기반을 마련했습니다.

멀티 에이전트 아키텍처의 핵심은 의도 감지, 계획 생성, 실행 라우팅을 담당하는 오케스트레이션 에이전트와 특정 기술에 특화된 전문 에이전트의 분리입니다. 예를 들어 데이터 품질 에이전트는 프로파일링, 규칙 추천, 규칙 생성, 정제라는 세부 기술별로 전용 도구와 모델 구성을 갖추고 있습니다. 사용자가 실행 전 계획을 검토하고 수정할 수 있는 계획 레이어를 도입하여 유연성과 통제력을 동시에 확보했습니다. 결정론적 도구 라우팅 로직을 구현하여 에이전트가 의도에 맞는 정확한 도구를 호출하도록 강제했습니다.

CLAIRE 멀티 에이전트 시스템의 계층별 스택 뷰 — Diagram경험(Experiences), 지능(Intelligence), 기반(Foundation)으로 나뉜 아키텍처를 보여줍니다. 지능 계층 내에서 에이전트, 하네스(Harness), 언어 모델(OpenAI, Gemini, Claude 등)이 어떻게 상호작용하는지 설명합니다.

50~60회의 모델 호출이 연쇄적으로 일어나는 워크플로에서는 중간 단계의 작은 오류가 전체 실패로 이어지는 실패 전파 문제가 치명적이었습니다. 이를 방지하기 위해 에이전트 간 엄격한 데이터 계약과 검증 체크포인트를 도입하여 다음 단계로 넘어가기 전 입출력의 유효성을 검증합니다. 가드레일은 실행 초기 단계에서 이상 징후를 감지하여 실패가 하류로 확산되는 것을 차단합니다. 또한 사용자의 실시간 계획 수정에 대응하기 위해 의존성을 동적으로 재계산하는 적응형 플래너를 적용했습니다.

엔터프라이즈 환경의 비즈니스 언어를 실행 가능한 지침으로 변환하기 위해 엔티티 해소와 의도 분해를 수행하는 시맨틱 레이어를 구축했습니다. 이 레이어는 각 에이전트가 성능 저하 없이 정확한 결과물을 낼 수 있도록 필요한 만큼의 컨텍스트만 선별하여 메타데이터를 보강합니다. 시맨틱 이해가 부족할 경우 발생할 수 있는 일반적이거나 잘못된 결과를 방지하고 데이터 환경에 최적화된 실행을 보장합니다. 이는 헤드리스 실행 모드에서도 에이전트가 자율적으로 데이터 품질 평가나 규칙 검증을 수행할 수 있게 돕습니다.

시맨틱 클러스터링 파이프라인의 구성 요소를 보여주는 다이어그램 — Diagram커뮤니티 클러스터, 엔티티 클러스터, 메트릭 클러스터 등 시맨틱 레이어를 구성하는 6가지 핵심 파이프라인 단계를 설명합니다. 이 구조가 데이터의 의미적 이해를 돕고 에이전트에게 최적화된 컨텍스트를 제공하는 기반임을 시각화합니다.

프로덕션 배포를 위해 각 에이전트의 역할에 맞춘 개별 검증 프레임워크를 도입하여 단순 모델 지표가 아닌 실제 작업 완수 지표를 측정했습니다. 정제 에이전트는 코드 실행 정확도와 데이터 무결성을, 규칙 생성 에이전트는 논리적 유효성과 테스트 커버리지를 기준으로 평가받습니다. LLM-as-a-judge 스코어링과 생성된 코드에 대한 리플렉션 기반 검증 레이어를 통해 실행 전 오류를 필터링합니다. 이러한 다층적 평가 체계를 통해 데이터 품질 에이전트는 90%의 성공률과 1% 미만의 환각률을 기록하며 신뢰성을 입증했습니다.

실무 Takeaway

복잡한 엔터프라이즈 워크플로를 자동화할 때는 단일 에이전트 대신 오케스트레이터와 도메인 전문 에이전트로 역할을 분리하여 컨텍스트 부하를 관리해야 합니다.
연쇄적인 모델 호출 구조에서는 단계별 검증 체크포인트와 엄격한 데이터 계약을 도입하여 중간 단계의 오류가 전체 시스템으로 전파되는 것을 차단해야 합니다.
AI 성능 평가는 단순한 정확도 지표를 넘어 에이전트의 실제 작업 완수 여부를 측정하는 에이전트별 맞춤형 결과 지표(Outcome Metrics)를 사용해야 합니다.

언급된 리소스

문서Inside Informatica’s Spark-Based Data Integration Platform