Miro가 Amazon Bedrock을 사용하여 소프트웨어 버그 라우팅 정확도를 높이고 해결 시간을 단축한 방법

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

Miro는 매년 발생하는 막대한 생산성 손실을 해결하기 위해 AWS와 협력하여 AI 기반 버그 트리이징 솔루션인 BugManager를 개발했다. 이 시스템은 Amazon Nova Pro를 통해 이미지와 비디오를 분석하고, Amazon Bedrock Knowledge Bases를 활용해 Jira, GitHub, Confluence의 데이터를 RAG 방식으로 결합한다. 최종적으로 Anthropic Claude 3.5 Sonnet 모델이 보강된 컨텍스트를 바탕으로 담당 팀을 추천하고 근본 원인 분석을 수행한다. 도입 결과 버그 재할당은 6배 감소했으며, 해결 시간은 5배 단축되는 실질적인 성과를 거두었다.

배경

Amazon Bedrock 및 Knowledge Bases에 대한 기본 지식, RAG(Retrieval Augmented Generation) 아키텍처 이해, 멀티모달 LLM의 개념

대상 독자

엔터프라이즈 규모에서 LLM을 활용해 내부 운영 효율화를 꾀하는 MLOps 엔지니어 및 개발자 경험(DevEx) 팀

의미 / 영향

이 사례는 대규모 조직의 고질적인 문제인 업무 라우팅을 RAG와 멀티모달 LLM으로 해결할 수 있음을 입증합니다. 특히 정적인 분류 모델 대신 동적인 지식 베이스를 활용함으로써 조직 변경에 유연하게 대응하는 차세대 사내 도구의 표준을 제시합니다.

섹션별 상세

Miro는 약 100개의 소프트웨어 팀 사이에서 발생하는 버그 오분류로 인해 연간 약 42년의 누적 생산성 손실을 겪고 있었다. 기존의 파인튜닝된 NLP 모델은 조직 구조가 변할 때마다 재학습이 필요하고 정확도가 떨어지는 한계가 존재했다. 이를 해결하기 위해 재학습 없이도 유연하게 대응할 수 있는 LLM 기반의 RAG 아키텍처를 도입하기로 결정했다. 결과적으로 조직의 동적인 변화에 즉각적으로 대응할 수 있는 기반을 마련했다.

BugManager는 멀티모달 분석과 RAG를 결합하여 버그 리포트의 이해도를 극대화한다. Amazon Nova Pro를 사용하여 스크린샷과 화면 녹화 영상을 텍스트로 변환하고, Amazon Bedrock Knowledge Bases를 통해 사내 문서와 과거 티켓 정보를 수집한다. 수집된 데이터는 하나의 최적화된 프롬프트로 통합되어 Claude 모델에 전달된다. 이 과정을 통해 단순 텍스트 리포트만으로는 부족했던 맥락 정보를 완벽하게 보강한다.

BugManager의 전체 시스템 아키텍처 다이어그램 — DiagramAWS Fargate에서 실행되는 마이크로서비스가 Amazon Nova Pro, Bedrock Knowledge Bases, Claude 모델과 상호작용하는 데이터 흐름을 상세히 설명합니다. 입력된 피드백이 어떻게 파싱되고 보강되어 최종적으로 Jira 티켓으로 변환되는지 단계별로 보여줍니다.

Anthropic Claude 3.5 Sonnet의 확장된 사고(Extended Thinking) 기능을 활용해 버그 분류 정확도를 대폭 향상시켰다. 시스템은 상위 1개 팀 선정 시 75% 이상의 정확도를 보였으며, 상위 3개 팀 기준으로는 95%의 정확도를 기록했다. 각 추천 결과에는 명확한 근거(Rationale)가 포함되어 개발자들의 신뢰도를 높였다. 이는 기존 NLP 솔루션 대비 정확도가 70% 향상된 결과이다.

선택 사항으로 제공되는 근근 원인 분석(RCA) 기능은 개발자의 조사 시간을 획기적으로 줄여준다. LLM이 Miro의 전체 GitHub 코드 베이스를 참조하여 버그의 발생 원인에 대한 가설을 생성한다. 분석 결과는 슬랙을 통해 사용자에게 전달되며, 최종 확인 후 자동으로 Jira 티켓이 생성되어 담당 팀에 할당된다. 이 자동화 흐름은 버그 해결 주기를 며칠에서 몇 시간으로 단축하는 핵심 동력이 됐다.

python

ROUTING_PROMPT = """
You are a bug report routing assistant for Miro, a software company providing a collaboration and canvas software.
You are responsible for analyzing incoming bug reports and determining which software team should handle them.
Your goal is to accurately route each bug report to the most appropriate Miro software team based on their areas of responsibility.

When analyzing a bug report, follow these steps:
1. Carefully read the provided team descriptions to understand each team's domain expertise and responsibilities
2. Analyze the bug report for:
- Affected systems or components
- Technical keywords and terminology
- Error messages or stack traces
- User impact and behavior
- Related capabilities, features or functionality
3. Compare the bug details against each team's responsibilities
4. Select the most appropriate Miro software team based on:
- Direct ownership of affected components
- Required technical expertise
- Historical handling of similar issues
- Cross-cutting concerns and dependencies

Return the five most appropriate software teams, provide a confidence of HIGH, MEDIUM, LOW and a rationale per each choice.
Enclose your answers in <thought>, <teams>, and <rationale> xml tags, respectively.

Details about the bug report and the responsibilities of each Miro software team are provided below:
Bug details and context:
{bug_report}
{parsed_attachments}

Miro software teams descriptions:
{teams_info}

Think step-by-step!
""".strip()

버그 리포트와 팀 정보를 바탕으로 담당 팀을 분류하기 위한 LLM 프롬프트 구성 예시

BugManager의 슬랙 인터페이스 스크린샷 — ScreenshotAI가 버그 리포트를 분석하여 담당 팀 후보를 신뢰도 점수와 함께 추천하고, 그 이유(Rationale)를 설명하는 실제 사용자 인터페이스를 보여줍니다. 사용자가 추천된 팀을 확인하고 Jira 티켓을 생성하는 과정을 확인할 수 있습니다.

실무 Takeaway

동적인 조직 환경에서는 파인튜닝된 모델보다 RAG와 프롬프트 기반의 LLM 접근 방식이 유지보수와 정확도 측면에서 훨씬 유리하다.
멀티모달 모델(Amazon Nova Pro)을 활용해 이미지·비디오 데이터를 텍스트화함으로써 버그 리포트의 분석 범위를 획기적으로 넓힐 수 있다.
AI의 판단 근거(Rationale)를 함께 제공하고 인간이 최종 결정하는 Human-in-the-loop 구조를 통해 사용자 수용성을 95%까지 높일 수 있다.

언급된 리소스

문서Generative AI on AWS

ROUTING_PROMPT = """ You are a bug report routing assistant for Miro, a software company providing a collaboration and canvas software. You are responsible for analyzing incoming bug reports and determining which software team should handle them. Your goal is to accurately route each bug report to the most appropriate Miro software team based on their areas of responsibility. When analyzing a bug report, follow these steps: 1. Carefully read the provided team descriptions to understand each team's domain expertise and responsibilities 2. Analyze the bug report for: - Affected systems or components - Technical keywords and terminology - Error messages or stack traces - User impact and behavior - Related capabilities, features or functionality 3. Compare the bug details against each team's responsibilities 4. Select the most appropriate Miro software team based on: - Direct ownership of affected components - Required technical expertise - Historical handling of similar issues - Cross-cutting concerns and dependencies Return the five most appropriate software teams, provide a confidence of HIGH, MEDIUM, LOW and a rationale per each choice. Enclose your answers in <thought>, <teams>, and <rationale> xml tags, respectively. Details about the bug report and the responsibilities of each Miro software team are provided below: Bug details and context: {bug_report} {parsed_attachments} Miro software teams descriptions: {teams_info} Think step-by-step! """.strip()

Miro가 Amazon Bedrock을 사용하여 소프트웨어 버그 라우팅 정확도를 높이고 해결 시간을 단축한 방법

핵심 요약

배경

대상 독자

의미 / 영향

섹션별 상세

실무 Takeaway

언급된 리소스

Miro가 Amazon Bedrock을 사용하여 소프트웨어 버그 라우팅 정확도를 높이고 해결 시간을 단축한 방법

핵심 요약

배경

대상 독자

의미 / 영향

섹션별 상세

실무 Takeaway

언급된 리소스

관련 토론

댓글

관련 피드

관련 토론

댓글

관련 피드