이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
BI 대시보드는 인프라와 데이터 파이프라인이 정상이어도 빈 차트, 오래된 데이터, 잘못된 수치를 사용자 화면에 표시할 수 있으며, AWS 팀은 이런 콘텐츠 계층의 오류를 자동으로 찾기 위해 Amazon Bedrock 기반 검증 시스템을 구축했습니다. 시스템은 Amazon EventBridge와 서버리스 AWS 서비스로 대시보드 섹션을 주기적으로 캡처하고, Amazon Rekognition으로 민감한 내용을 가린 뒤, Claude가 시각적 이상과 지표의 의미를 읽도록 구성했습니다. 수치 비교에서는 LLM이 지표와 단위를 추출하고 결정론적 코드가 단위 변환과 정밀도 처리를 맡아 최종 판정을 내립니다. 30일 동안 153,000건의 검사를 수행해 802건의 콘텐츠 오류를 찾았고, 오류 탐지 시간을 최대 72시간에서 1시간 미만으로 줄였습니다.
섹션별 상세
인프라 모니터가 서버 상태와 API 응답을 정상으로 판정해도 사용자가 보는 대시보드 콘텐츠는 깨질 수 있습니다. AWS 팀의 30일 관측에서는 802건의 콘텐츠 오류가 발견됐지만 사용자 신고가 함께 접수된 사례는 1% 미만이었습니다. 따라서 파이프라인 검증만으로는 렌더링 오류와 화면에 나타난 의미상의 수치 오류를 포착하기 어렵고, 실제 사용자 화면을 검사하는 별도 계층이 필요합니다.
시스템은 Amazon EventBridge가 시간별 시각 검증과 주간 수치 검증을 시작하고, Amazon Redshift가 감시 섹션·소유자·일정을 관리하는 5단계 서버리스 파이프라인으로 구성됩니다. AWS Lambda가 대시보드 섹션을 사용자 화면처럼 렌더링해 스크린샷을 만들고, Amazon Rekognition이 문자와 숫자를 찾아 마스킹한 뒤 Amazon S3와 Amazon CloudFront를 통해 분석 입력을 제공합니다. 각 서비스가 검증 주기 사이에 0으로 확장되므로 비용이 실제 실행량에 비례하는 구조입니다.
시각 검증에서는 Claude가 스크린샷과 섹션 메타데이터를 한 번에 읽어 빈 타일, 오류 상태, 누락된 시각 요소를 찾고 정상적인 빈 결과와 실제 장애를 문맥으로 구분합니다. 모델 출력은 자유 형식의 설명이 아니라 신뢰도 점수를 포함한 구조화된 판정으로 제한되며, 모호한 결과는 자동 알림 대신 사람의 검토로 보냅니다. 장애가 확정되면 섹션 소유자에게 Slack Block Kit 알림을 전달하고, 지속되는 문제는 담당 팀의 티켓으로 승격합니다.
수치 검증은 대시보드마다 표현 방식이 다른 동일 지표를 비교하기 위해 LLM과 결정론적 코드를 결합합니다. Amazon Bedrock의 LLM은 캡처된 화면에서 선언된 지표를 찾아 값과 단위를 읽고 대응하는 읽기값을 만들며, AWS Lambda 코드는 $1.2B와 $1,200M 같은 단위 변환과 58.484와 58.5 같은 정밀도 처리를 수행해 일치·불일치를 결정합니다. LLM이 반올림과 허용 오차를 매번 다르게 적용하던 문제를 코드로 분리하면서 판정의 일관성이 설계상 보장됐습니다.
프로덕션 운영 결과는 시각 검증이 30일 동안 수백 개 대시보드에서 153,000건의 검사를 수행하고 802건의 오류를 찾아 99.48%의 시스템 콘텐츠 가용성을 기록한 것으로 나타났습니다. 시간별 검사 덕분에 최대 탐지 시간이 72시간에서 1시간 미만으로 줄었고, 수치 검증은 6개월 넘게 매주 50~70개 데이터 포인트를 확인했습니다. 모델 개선으로 잘못 읽은 대시보드 값에서 비롯된 오탐이 줄어 recall이 0.88에서 0.95로 올랐으며, 수치 오류가 사람의 검토를 거치지 않고 승인된 사례는 현재까지 없었습니다.
용어 해설
- 최종 구간 검증(Last-mile Validation)
- — 인프라와 데이터 파이프라인 검증을 통과한 뒤에도 사용자 화면에 남을 수 있는 콘텐츠 오류를 마지막 단계에서 확인하는 방식입니다. 실제 렌더링 결과와 의미를 검사해 빈 화면, 잘못된 수치, 누락된 시각 요소를 찾아냅니다.
- 의미 기반 판단(Semantic Judgment)
- — 화면의 상태가 단순히 비어 있는지, 아니면 필터 조건에 따른 정상적인 빈 결과인지처럼 문맥을 해석해 판별하는 능력입니다. 이 글에서는 LLM이 시각적 이상과 정상적인 빈 상태를 구분하는 데 사용됩니다.
- 하이브리드 검증(Hybrid Validation)
- — LLM과 결정론적 코드를 서로 다른 역할에 배치하는 검증 방식입니다. LLM은 대시보드에서 지표와 단위를 읽고, 코드는 단위 정규화와 반올림·허용 오차를 적용해 일치 여부를 판정합니다.
- 결정론적 판정(Deterministic Verdict)
- — 같은 입력에 대해 실행할 때마다 동일한 규칙으로 결과를 내리는 판정 방식입니다. 수치 비교처럼 한 번의 오류도 신뢰를 훼손하는 단계에서 모델의 가변적인 판단 대신 프로그램 코드로 일치·불일치를 결정합니다.
- 광학 문자 인식(OCR)
- — 이미지 안의 문자와 숫자를 찾아 읽어내는 기술입니다. 이 시스템은 Amazon Rekognition의 사전 학습된 OCR 및 텍스트 감지 모델로 스크린샷의 민감한 문자와 수치를 식별한 뒤 마스킹합니다.
기술
- Amazon Bedrock
- Claude
- Amazon EventBridge
- Amazon Redshift
- AWS Lambda
- Amazon Rekognition
- Amazon S3
- Amazon CloudFront
- Amazon CloudWatch
- Amazon CloudWatch Synthetics
- Slack Block Kit
활용 사례
- 수백 개 BI 대시보드의 빈 화면·오류 상태 감지
- 대시보드 간 동일 지표의 수치 일관성 검증
- AI가 생성하는 경영진용 narrative에 전달되기 전 데이터 오류 차단
- 콘텐츠 오류의 소유자별 Slack 알림과 티켓 라우팅
- 대시보드 오류 이력의 추세 분석과 향후 예측
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 09. 03.수집 2026. 09. 03.출처 타입 RSS
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
