Claude Code를 활용한 Whisper 기반 저비용 전사 서비스 구축기

실용적 조언

Vercel을 사용할 때 대용량 파일(PDF, 오디오 등)은 서버를 거치지 말고 R2/S3 Presigned URL로 직접 업로드하여 타임아웃을 방지할 것.
Whisper API 호출 시 Rate Limit에 대비하여 Modal이나 유사한 큐 시스템으로 재시도 로직을 반드시 포함할 것.
Claude Code 사용 시 코드를 수정하기 전 'Plan mode'를 활용해 전체적인 로직 흐름을 먼저 확정할 것.

섹션별 상세

Claude Code를 활용한 개발 효율성이 확인됐다. 스캐폴딩, Clerk 인증 연동, R2 Presigned URL 구현, Stripe 결제 흐름 등 명확한 API와 목표가 있는 작업에서 Claude Code는 높은 완성도를 보였으며 대부분의 UI가 단 하루 만에 구성됐다. 다만 복잡한 아키텍처 결정이나 화자 분리 로직 같은 세부 구현에서는 개발자의 직접적인 개입과 사전 설계(Plan mode)가 필수적이었다.

Modal을 통한 큐 및 워커 시스템 구축이 Whisper API의 한계를 극복하는 핵심으로 제시됐다. Whisper API를 직접 호출할 경우 발생하는 속도 제한(Rate Limit) 문제를 해결하기 위해 Modal에서 큐 기반의 Python 함수를 정의하고 동시성 제한 및 재시도 로직을 적용했다. 이를 통해 다수의 사용자가 동시에 오디오 파일을 업로드하더라도 시스템이 안정적으로 요청을 처리할 수 있는 구조를 확보했다.

Cloudflare R2와 AWS S3 SDK를 조합하여 효율적인 파일 스토리지 시스템을 구현했다. Next.js 서버가 대용량 오디오 파일을 직접 처리하지 않도록 브라우저에서 R2 버킷으로 직접 업로드하는 Presigned URL 방식을 채택했다. 이는 Vercel 환경에서 대용량 파일 전송 시 발생할 수 있는 타임아웃이나 성능 저하 문제를 원천적으로 방지하는 효과적인 아키텍처이다.

OpenAI Whisper의 비용 효율성과 품질에 대한 실무적 경험이 공유됐다. 시간당 약 1달러 수준의 저렴한 비용으로 고품질 전사가 가능하지만, 특정 오디오 클립에서 동일한 단어가 반복되는 환각(Hallucination) 현상이 관찰됐다. 이를 해결하기 위해 Python을 이용한 데이터 정제 단계를 추가하여 결과물의 신뢰도를 높였다.

용어 해설

위스퍼(Whisper): — OpenAI에서 개발한 오픈소스 음성 인식(ASR) 모델이다. 방대한 양의 다국어 및 다중 작업 오디오 데이터로 학습되어 배경 소음이 있는 환경에서도 높은 전사 정확도를 보여주며, 기존 상용 서비스 대비 매우 저렴한 비용으로 음성을 텍스트로 변환할 수 있어 널리 활용된다.
클로드 코드(Claude Code): — Anthropic에서 출시한 터미널 기반의 AI 코딩 에이전트 도구이다. 개발자의 로컬 환경에서 직접 코드를 작성, 실행, 테스트하며 복잡한 프로그래밍 작업을 자율적으로 수행할 수 있도록 설계되어 개발 생산성을 극대화한다.
사전 서명된 URL(Presigned URL): — 클라우드 스토리지(S3, R2 등)의 객체에 일시적으로 접근할 수 있는 권한을 부여하는 보안 URL이다. 클라이언트가 서버를 거치지 않고 스토리지 버킷에 직접 파일을 업로드하거나 다운로드할 수 있게 하여 서버의 대역폭 소모와 처리 부하를 줄이는 데 중요한 역할을 한다.
모달(Modal): — Python 코드를 클라우드에서 즉시 실행하고 확장할 수 있게 해주는 서버리스 컴퓨팅 플랫폼이다. 복잡한 인프라 설정 없이 큐(Queue), 동시성 제어, GPU 할당 등을 코드 몇 줄로 정의할 수 있어 AI 모델 추론이나 대규모 배치 작업 처리에 최적화되어 있다.

언급된 도구

Claude Code추천

자율 코딩 에이전트 및 개발 보조

OpenAI Whisper추천

음성 텍스트 변환(전사)

Modal추천

서버리스 큐 및 워커 실행 환경

Cloudflare R2추천

S3 호환 객체 스토리지

Clerk추천

사용자 인증 및 관리

Neon Postgres추천

서버리스 관계형 데이터베이스