섹션별 상세
Miro는 약 100개의 소프트웨어 팀 사이에서 발생하는 버그 오분류로 인해 연간 약 42년의 누적 생산성 손실을 겪고 있었다. 기존의 파인튜닝된 NLP 모델은 조직 구조가 변할 때마다 재학습이 필요하고 정확도가 떨어지는 한계가 존재했다. 이를 해결하기 위해 재학습 없이도 유연하게 대응할 수 있는 LLM 기반의 RAG 아키텍처를 도입하기로 결정했다. 결과적으로 조직의 동적인 변화에 즉각적으로 대응할 수 있는 기반을 마련했다.
BugManager는 멀티모달 분석과 RAG를 결합하여 버그 리포트의 이해도를 극대화한다. Amazon Nova Pro를 사용하여 스크린샷과 화면 녹화 영상을 텍스트로 변환하고, Amazon Bedrock Knowledge Bases를 통해 사내 문서와 과거 티켓 정보를 수집한다. 수집된 데이터는 하나의 최적화된 프롬프트로 통합되어 Claude 모델에 전달된다. 이 과정을 통해 단순 텍스트 리포트만으로는 부족했던 맥락 정보를 완벽하게 보강한다.
Anthropic Claude 3.5 Sonnet의 확장된 사고(Extended Thinking) 기능을 활용해 버그 분류 정확도를 대폭 향상시켰다. 시스템은 상위 1개 팀 선정 시 75% 이상의 정확도를 보였으며, 상위 3개 팀 기준으로는 95%의 정확도를 기록했다. 각 추천 결과에는 명확한 근거(Rationale)가 포함되어 개발자들의 신뢰도를 높였다. 이는 기존 NLP 솔루션 대비 정확도가 70% 향상된 결과이다.
선택 사항으로 제공되는 근근 원인 분석(RCA) 기능은 개발자의 조사 시간을 획기적으로 줄여준다. LLM이 Miro의 전체 GitHub 코드 베이스를 참조하여 버그의 발생 원인에 대한 가설을 생성한다. 분석 결과는 슬랙을 통해 사용자에게 전달되며, 최종 확인 후 자동으로 Jira 티켓이 생성되어 담당 팀에 할당된다. 이 자동화 흐름은 버그 해결 주기를 며칠에서 몇 시간으로 단축하는 핵심 동력이 됐다.
python
ROUTING_PROMPT = """
You are a bug report routing assistant for Miro, a software company providing a collaboration and canvas software.
You are responsible for analyzing incoming bug reports and determining which software team should handle them.
Your goal is to accurately route each bug report to the most appropriate Miro software team based on their areas of responsibility.
When analyzing a bug report, follow these steps:
1. Carefully read the provided team descriptions to understand each team's domain expertise and responsibilities
2. Analyze the bug report for:
- Affected systems or components
- Technical keywords and terminology
- Error messages or stack traces
- User impact and behavior
- Related capabilities, features or functionality
3. Compare the bug details against each team's responsibilities
4. Select the most appropriate Miro software team based on:
- Direct ownership of affected components
- Required technical expertise
- Historical handling of similar issues
- Cross-cutting concerns and dependencies
Return the five most appropriate software teams, provide a confidence of HIGH, MEDIUM, LOW and a rationale per each choice.
Enclose your answers in <thought>, <teams>, and <rationale> xml tags, respectively.
Details about the bug report and the responsibilities of each Miro software team are provided below:
Bug details and context:
{bug_report}
{parsed_attachments}
Miro software teams descriptions:
{teams_info}
Think step-by-step!
""".strip()버그 리포트와 팀 정보를 바탕으로 담당 팀을 분류하기 위한 LLM 프롬프트 구성 예시
용어 해설
- 검색 증강 생성(RAG)
- — 외부 지식 베이스에서 관련 정보를 검색하여 LLM의 프롬프트에 주입하는 기술입니다. 모델을 재학습시키지 않고도 최신 사내 문서나 코드 정보를 활용할 수 있게 하여 답변의 정확도와 신뢰성을 높이는 역할을 합니다.
- 근본 원인 분석(Root Cause Analysis)
- — 문제가 발생했을 때 표면적인 현상을 넘어 그 원인이 되는 핵심 요소를 찾아내는 과정입니다. 이 시스템에서는 LLM이 소스 코드를 분석하여 버그의 발생 지점과 해결 방안에 대한 가설을 제시하는 데 활용됩니다.
- 멀티모달(Multimodal)
- — 텍스트뿐만 아니라 이미지, 비디오 등 다양한 형태의 데이터를 동시에 처리하고 이해할 수 있는 능력입니다. 버그 리포트에 포함된 스크린샷이나 화면 녹화 영상을 텍스트로 변환하여 분석하는 데 필수적인 기술입니다.
기술
- Amazon Bedrock
- Anthropic Claude 3.5 Sonnet
- Amazon Nova Pro
- Amazon OpenSearch Serverless
- Amazon EKS
- Jira
- GitHub
- Confluence
활용 사례
- 자동 버그 분류 및 팀 할당 시스템
- 멀티모달 데이터를 활용한 이슈 분석
- 사내 지식 베이스 기반의 근본 원인 분석(RCA)
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 05. 12.수집 2026. 05. 12.출처 타입 RSS
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
