Salesforce Einstein Notebooking 플랫폼을 활용한 Agentforce AI 디버깅 가속화

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

Salesforce는 Agentforce AI 에이전트의 불투명한 동작 문제를 해결하기 위해 Einstein Notebooking 플랫폼을 확장했다. 기존의 로그와 메트릭 기반 관측성은 에이전트가 참조하는 실제 데이터 청크와 임베딩을 보여주지 못해 디버깅에 수주가 소요되는 한계가 있었다. 이를 해결하기 위해 Spark 기반의 워크플로를 도입하여 엔지니어가 생산 환경의 인덱스와 세션 데이터를 직접 쿼리하고 분석할 수 있는 '쿼리 기반 관측성'을 구현했다. 결과적으로 복잡한 RAG 파이프라인의 문제를 실시간으로 파악하고 수정할 수 있게 되어 조사 시간이 기존 2주에서 단 하루로 단축되었다.

배경

RAG(Retrieval-Augmented Generation) 아키텍처에 대한 이해, Spark 및 분산 데이터 처리 개념, 벡터 임베딩 및 검색 인덱스 작동 원리

대상 독자

LLM 기반 에이전트 및 RAG 시스템을 운영하는 엔지니어 및 데이터 과학자

의미 / 영향

이 기술은 복잡한 AI 시스템의 '블랙박스' 문제를 데이터 쿼리 수준에서 해결함으로써 엔터프라이즈 급 AI 서비스의 유지보수 비용을 낮추고 신뢰성을 높이는 데 기여한다. 특히 대규모 멀티테넌트 환경에서 보안을 유지하며 실데이터 디버깅을 가능케 하는 아키텍처 표준을 제시한다.

섹션별 상세

기존 로그 기반 관측성은 최종 출력물만 기록하고 에이전트가 의사결정에 사용한 중간 데이터를 숨기는 한계가 있었다. 엔지니어는 에이전트가 어떤 문서 청크를 참조했는지 알 수 없어 검색 경로를 추적하거나 기술적 가설을 검증하는 데 어려움을 겪었다. 이를 해결하기 위해 생산 데이터에 직접 접근하여 입력값과 검색 결과를 검사할 수 있는 쿼리 기반 관측성(Query-driven Observability)을 도입했다.

RAG 시스템의 성능 저하는 주로 문서 파싱과 청크 분할 과정에서 발생하는 데이터 변형 때문에 발생한다. 특히 중첩된 표와 같은 구조화된 데이터가 잘못 파싱되면 LLM에 왜곡된 문맥이 전달되어 잘못된 답변을 생성하게 된다. 엔지니어는 이제 노트북 환경에서 LlamaParse와 같은 도구로 문서를 재파싱하고 새로운 임베딩을 생성하여 즉시 결과를 비교 검증할 수 있다.

기존의 '외부 루프(Outer Loop)' 워크플로는 사소한 수정에도 여러 저장소의 PR 생성과 배포 과정을 거쳐야 해 최소 2주가 소요되었다. 새로운 '내부 루프(Inner Loop)' 워크플로는 노트북 환경에서 생산 데이터와 RAG 구성 요소를 직접 상호작용하게 하여 배포 없이도 로직을 검증할 수 있게 한다. 이 방식은 10단계에 달하던 수동 프로세스를 간소화하여 디버깅 및 반복 속도를 비약적으로 향상시켰다.

에이전트 개발자의 RAG 알고리즘 테스트 및 수정 프로세스 플로우 — Diagram고객의 정확도 이슈 보고부터 에이전트 개발자가 노트북 인스턴스에서 새로운 RAG 알고리즘을 시도하고 Spark/Ray를 통해 인덱스를 생성하여 수정사항을 적용하는 과정을 도식화했다.

노트북을 활용한 인터랙티브 내부 루프(Inner Loop) 워크플로 시퀀스 다이어그램 — Diagram엔지니어가 PDF를 수집하고, 하이브리드 검색을 수행하며, 실패 분석 후 LlamaParse로 향상된 파싱을 적용하여 인덱스를 업데이트하는 전체 디버깅 단계를 8단계로 상세히 묘사한다.

대규모 생산 데이터를 다루기 위해 보안과 확장성을 동시에 고려한 멀티레이어 아키텍처를 설계했다. IAM 기반 액세스, 상호 TLS(mTLS), 세밀한 권한 제어를 통해 테넌트 간 데이터 격리를 엄격히 유지하면서 Spark 기반 분산 컴퓨팅으로 대용량 쿼리를 처리한다. gRPC 게이트웨이를 통해 인증을 표준화하고 분산 컴퓨팅 서비스와 통합 데이터 서비스를 안전하게 연결한다.

Einstein Notebooking 플랫폼의 시스템 개요 아키텍처 다이어그램 — DiagramNotebooking UI, 관리 서비스(IDS), 컴퓨팅 노드(Spark/JupyterLab), 그리고 데이터 서비스 간의 연결 구조를 보여준다. 특히 노트북 인스턴스가 Spark 커널을 통해 DataCloud 및 LLM 게이트웨이와 상호작용하는 흐름을 설명한다.

실무 Takeaway

AI 에이전트의 신뢰성을 높이기 위해서는 최종 결과물뿐만 아니라 검색된 청크와 임베딩을 직접 쿼리할 수 있는 데이터 중심의 관측성 도구가 필수적이다.
RAG 파이프라인의 디버깅 효율을 높이려면 복잡한 배포 주기(Outer Loop) 대신 노트북 환경에서 즉시 실험과 검증이 가능한 내부 루프(Inner Loop) 환경을 구축해야 한다.
생산 환경의 실제 데이터를 디버깅에 활용할 때는 테넌트 격리와 보안 규정을 준수하기 위해 IAM 및 mTLS가 통합된 전용 컴퓨팅 인프라가 뒷받침되어야 한다.

언급된 리소스

문서Einstein Notebooking Platform

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

배경

RAG(Retrieval-Augmented Generation) 아키텍처에 대한 이해, Spark 및 분산 데이터 처리 개념, 벡터 임베딩 및 검색 인덱스 작동 원리

대상 독자

LLM 기반 에이전트 및 RAG 시스템을 운영하는 엔지니어 및 데이터 과학자

의미 / 영향

섹션별 상세

실무 Takeaway

AI 에이전트의 신뢰성을 높이기 위해서는 최종 결과물뿐만 아니라 검색된 청크와 임베딩을 직접 쿼리할 수 있는 데이터 중심의 관측성 도구가 필수적이다.
RAG 파이프라인의 디버깅 효율을 높이려면 복잡한 배포 주기(Outer Loop) 대신 노트북 환경에서 즉시 실험과 검증이 가능한 내부 루프(Inner Loop) 환경을 구축해야 한다.
생산 환경의 실제 데이터를 디버깅에 활용할 때는 테넌트 격리와 보안 규정을 준수하기 위해 IAM 및 mTLS가 통합된 전용 컴퓨팅 인프라가 뒷받침되어야 한다.

언급된 리소스

문서Einstein Notebooking Platform

Salesforce Einstein Notebooking 플랫폼을 활용한 Agentforce AI 디버깅 가속화

핵심 요약

배경

대상 독자

의미 / 영향

섹션별 상세

실무 Takeaway

언급된 리소스

Salesforce Einstein Notebooking 플랫폼을 활용한 Agentforce AI 디버깅 가속화

핵심 요약

배경

대상 독자

의미 / 영향

섹션별 상세

실무 Takeaway

언급된 리소스

관련 토론

댓글

관련 피드

관련 토론

댓글

관련 피드