Anthropic의 비즈니스 관행과 막대한 컴퓨팅 비용 손실에 대한 비판

Anthropic의 비즈니스 전략에 대해 대체로 냉소적이며, 에이전트 도구의 비용 효율성에 대한 의구심을 표하는 반응이 많다.

• 에이전트 도구 사용 시 서브 에이전트 생성 옵션을 제한하거나 토큰 소비 한도를 설정해야 한다.
• API 비용 추정치를 정기적으로 확인하여 예상치 못한 청구를 방지해야 한다.

컴퓨팅 자원(Compute)

— AI 모델을 실행하고 학습시키는 데 필요한 연산 능력과 하드웨어 자원을 의미한다. 토큰 사용량에 비례하여 비용이 발생하며, 대규모 모델일수록 더 많은 컴퓨팅 자원이 소모되기에 효율적인 자원 관리가 필수적이다.

서브 에이전트(Sub-agent)

— 복잡한 목표를 달성하기 위해 메인 에이전트가 생성하는 하위 AI 단위이다. 각 서브 에이전트의 활동은 추가적인 API 호출과 토큰 소비를 유발하여 전체 비용을 급증시킬 수 있으므로 에이전트 설계 시 주의가 필요하다.

토큰(Token)

— LLM이 텍스트를 처리하는 기본 단위로, 단어의 일부나 문장 부호를 포함한다. 모델의 입력 및 출력량을 측정하고 비용을 산정하는 핵심 지표로 사용되며, 프롬프트 최적화를 통해 사용량을 줄이는 것이 중요하다.