Anthropic 내부 엔지니어가 밝히는 컴퓨팅 자원 부족과 구독자 제한의 실상

실용적 조언

피크 시간대에 Claude 서비스가 불안정하다면 이는 시스템 오류가 아닌 의도적인 자원 제한일 가능성이 높으므로 업무 시간을 조정할 필요가 있다.
안정적인 API 사용이 필수적인 비즈니스 환경이라면 일반 구독보다는 엔터프라이즈 플랜이나 API 직접 사용을 고려해야 한다.

섹션별 상세

Anthropic은 본질적으로 제품 기업이 아닌 연구소의 DNA를 가졌다. 창립 팀과 이사회, 기업 문화가 연구자 중심으로 구성되어 있어 제품팀의 요구보다 차세대 모델 학습을 위한 연구팀의 자원 확보가 항상 최우선 순위를 차지한다. 연구팀은 당장의 매출을 내지 못함에도 불구하고 미래 경쟁력을 위해 막대한 GPU 자원을 독점적으로 사용하며, 이는 내부적인 자원 기근의 주요 원인이 된다.

수익 구조에 따른 자원 배분 우선순위에서 일반 구독자가 가장 밀려나 있다. 매출의 80%를 차지하는 기업용(Enterprise) 고객은 사용량에 비례해 비용을 지불하므로 자원 할당 시 최우선 보호 대상이며, 이들이 이탈할 경우 OpenAI로 옮겨갈 위험이 크다. 반면 고정 요금제를 내는 일반 구독자는 헤비 유저의 경우 지불 금액의 25배에 달하는 자원을 소모하기도 하여, 자원 부족 시 가장 먼저 제한 대상이 된다.

과거의 보수적인 GPU 조달 전략이 현재의 발목을 잡고 있다. OpenAI가 시장의 모든 GPU를 공격적으로 매집할 때 Anthropic은 상대적으로 보수적인 태도를 취했으며, GPU 수급의 긴 리드 타임(18~36개월)으로 인해 당시의 결정이 현재의 공급 부족으로 나타났다. 현재 아마존 및 구글과의 협력을 통해 인프라를 확충 중이나 하드웨어가 실제 가동되기 전까지는 기존 자원을 두고 내부 부서 간의 치열한 쟁탈전이 불가피하다.

제품팀의 자원 활용 방식에 대한 내부적 비판이 존재한다. 연구팀과 기업팀이 자원 부족에 시달리는 상황에서 소비자 제품팀이 '다마고치' 스타일의 부가 기능 등에 자원을 할당받아 사용하는 것은 우선순위 설정의 실패로 평가받는다. 정작 사용자들이 고통받는 프롬프트 캐싱 문제나 서비스 안정성 개선은 뒷전으로 밀려나 있으며, 이에 대한 회사의 소통 방식 또한 미흡한 상태이다.

용어 해설

GPU 조달(GPU Procurement): — AI 모델 학습과 추론에 필수적인 그래픽 처리 장치(GPU)를 확보하는 과정이다. 현재 전 세계적인 수요 폭증으로 인해 주문부터 실제 데이터 센터 설치까지 18개월에서 3년의 긴 리드 타임이 소요되며, 이는 AI 기업의 서비스 확장 속도를 결정짓는 핵심 요인이 된다.
추론 비용(Inference Cost): — 학습된 AI 모델이 사용자의 입력에 대해 답변을 생성할 때 발생하는 계산 비용이다. 모델의 크기가 클수록 더 많은 GPU 자원과 전력이 소모되며, 고정 요금제 사용자가 모델을 과도하게 사용할 경우 기업 입장에서는 매출보다 추론 비용이 더 커지는 역마진 상황이 발생할 수 있다.
컴퓨팅 자원 할당(Compute Allocation): — 한정된 GPU 자원을 연구(모델 학습), 기업용 서비스(API), 일반 사용자 서비스(구독형) 등 서로 다른 부서나 용도에 나누어 배정하는 의사결정이다. 자원이 부족한 상황에서는 수익성이 높거나 미래 가치가 큰 부문에 자원을 우선 배정하게 된다.

언급된 도구

Claude중립

Anthropic의 주력 AI 모델 및 서비스