이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
Miro는 매년 발생하는 막대한 생산성 손실을 해결하기 위해 AWS와 협력하여 AI 기반 버그 트리이징 솔루션인 BugManager를 개발했다. 이 시스템은 Amazon Nova Pro를 통해 이미지와 비디오를 분석하고, Amazon Bedrock Knowledge Bases를 활용해 Jira, GitHub, Confluence의 데이터를 RAG 방식으로 결합한다. 최종적으로 Anthropic Claude 3.5 Sonnet 모델이 보강된 컨텍스트를 바탕으로 담당 팀을 추천하고 근본 원인 분석을 수행한다. 도입 결과 버그 재할당은 6배 감소했으며, 해결 시간은 5배 단축되는 실질적인 성과를 거두었다.
배경
Amazon Bedrock 및 Knowledge Bases에 대한 기본 지식, RAG(Retrieval Augmented Generation) 아키텍처 이해, 멀티모달 LLM의 개념
대상 독자
엔터프라이즈 규모에서 LLM을 활용해 내부 운영 효율화를 꾀하는 MLOps 엔지니어 및 개발자 경험(DevEx) 팀
의미 / 영향
이 사례는 대규모 조직의 고질적인 문제인 업무 라우팅을 RAG와 멀티모달 LLM으로 해결할 수 있음을 입증합니다. 특히 정적인 분류 모델 대신 동적인 지식 베이스를 활용함으로써 조직 변경에 유연하게 대응하는 차세대 사내 도구의 표준을 제시합니다.
섹션별 상세
Miro는 약 100개의 소프트웨어 팀 사이에서 발생하는 버그 오분류로 인해 연간 약 42년의 누적 생산성 손실을 겪고 있었다. 기존의 파인튜닝된 NLP 모델은 조직 구조가 변할 때마다 재학습이 필요하고 정확도가 떨어지는 한계가 존재했다. 이를 해결하기 위해 재학습 없이도 유연하게 대응할 수 있는 LLM 기반의 RAG 아키텍처를 도입하기로 결정했다. 결과적으로 조직의 동적인 변화에 즉각적으로 대응할 수 있는 기반을 마련했다.
BugManager는 멀티모달 분석과 RAG를 결합하여 버그 리포트의 이해도를 극대화한다. Amazon Nova Pro를 사용하여 스크린샷과 화면 녹화 영상을 텍스트로 변환하고, Amazon Bedrock Knowledge Bases를 통해 사내 문서와 과거 티켓 정보를 수집한다. 수집된 데이터는 하나의 최적화된 프롬프트로 통합되어 Claude 모델에 전달된다. 이 과정을 통해 단순 텍스트 리포트만으로는 부족했던 맥락 정보를 완벽하게 보강한다.
Anthropic Claude 3.5 Sonnet의 확장된 사고(Extended Thinking) 기능을 활용해 버그 분류 정확도를 대폭 향상시켰다. 시스템은 상위 1개 팀 선정 시 75% 이상의 정확도를 보였으며, 상위 3개 팀 기준으로는 95%의 정확도를 기록했다. 각 추천 결과에는 명확한 근거(Rationale)가 포함되어 개발자들의 신뢰도를 높였다. 이는 기존 NLP 솔루션 대비 정확도가 70% 향상된 결과이다.
근거
- 버그-팀 라우팅의 Top-1 정확도가 75% 이상으로 기존 모델 대비 70% 향상되었다. — Step 4: Route user feedback to the correct team 섹션의 수치 언급
- Claude의 확장된 사고 기능을 통해 7-9%의 추가 정확도 이득을 얻었다. — Step 4 섹션 내 정확도 분석 문단
선택 사항으로 제공되는 근근 원인 분석(RCA) 기능은 개발자의 조사 시간을 획기적으로 줄여준다. LLM이 Miro의 전체 GitHub 코드 베이스를 참조하여 버그의 발생 원인에 대한 가설을 생성한다. 분석 결과는 슬랙을 통해 사용자에게 전달되며, 최종 확인 후 자동으로 Jira 티켓이 생성되어 담당 팀에 할당된다. 이 자동화 흐름은 버그 해결 주기를 며칠에서 몇 시간으로 단축하는 핵심 동력이 됐다.
python
ROUTING_PROMPT = """
You are a bug report routing assistant for Miro, a software company providing a collaboration and canvas software.
You are responsible for analyzing incoming bug reports and determining which software team should handle them.
Your goal is to accurately route each bug report to the most appropriate Miro software team based on their areas of responsibility.
When analyzing a bug report, follow these steps:
1. Carefully read the provided team descriptions to understand each team's domain expertise and responsibilities
2. Analyze the bug report for:
- Affected systems or components
- Technical keywords and terminology
- Error messages or stack traces
- User impact and behavior
- Related capabilities, features or functionality
3. Compare the bug details against each team's responsibilities
4. Select the most appropriate Miro software team based on:
- Direct ownership of affected components
- Required technical expertise
- Historical handling of similar issues
- Cross-cutting concerns and dependencies
Return the five most appropriate software teams, provide a confidence of HIGH, MEDIUM, LOW and a rationale per each choice.
Enclose your answers in <thought>, <teams>, and <rationale> xml tags, respectively.
Details about the bug report and the responsibilities of each Miro software team are provided below:
Bug details and context:
{bug_report}
{parsed_attachments}
Miro software teams descriptions:
{teams_info}
Think step-by-step!
""".strip()버그 리포트와 팀 정보를 바탕으로 담당 팀을 분류하기 위한 LLM 프롬프트 구성 예시
근거
- 버그 재할당 횟수가 6배 감소하고 중앙 해결 시간이 5배 단축되었다. — Conclusion 섹션 및 서론의 성과 요약 부분
용어 해설
- RAG
- — 외부 지식 베이스에서 관련 정보를 검색하여 LLM의 프롬프트에 주입하는 기술입니다. 모델을 재학습시키지 않고도 최신 사내 문서나 코드 정보를 활용할 수 있게 하여 답변의 정확도와 신뢰성을 높이는 역할을 합니다.
- Root Cause Analysis
- — 문제가 발생했을 때 표면적인 현상을 넘어 그 원인이 되는 핵심 요소를 찾아내는 과정입니다. 이 시스템에서는 LLM이 소스 코드를 분석하여 버그의 발생 지점과 해결 방안에 대한 가설을 제시하는 데 활용됩니다.
- Multimodal
- — 텍스트뿐만 아니라 이미지, 비디오 등 다양한 형태의 데이터를 동시에 처리하고 이해할 수 있는 능력입니다. 버그 리포트에 포함된 스크린샷이나 화면 녹화 영상을 텍스트로 변환하여 분석하는 데 필수적인 기술입니다.
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 05. 12.수집 2026. 05. 12.출처 타입 RSS
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
