Amazon Bedrock에서 Gemma 4 모델 사용하기

섹션별 상세

Gemma 4는 31B(Dense), 26B-A4B(MoE), E2B(PLE) 세 가지 변형으로 구성되어 워크로드에 맞는 최적의 모델 선택이 가능하다.

근거

Artificial Analysis 보고서에 따르면 Gemma 4 31B의 Intelligence Index는 39로, 4B-40B 오픈 웨이트 클래스 중앙값인 15보다 높다. — 본문 도입부
26B-A4B 모델은 25.2B 파라미터 중 토큰당 3.8B만 활성화하여 4B급 비용으로 운영된다. — Architecture highlights 섹션

bedrock-mantle 엔드포인트는 OpenAI SDK와 호환되는 인터페이스를 제공하여 기존 애플리케이션의 마이그레이션 비용을 최소화한다.

python

from openai import OpenAI

client = OpenAI(
    api_key="",
    base_url="https://bedrock-mantle.us-east-1.api.aws/openai/v1",
)

response = client.chat.completions.create(
    model="google.gemma-4-31b",
    messages=[
        {"role": "user", "content": "Explain the benefits of mixture-of-experts architectures for production inference."}
    ],
    max_tokens=512,
)

OpenAI SDK를 사용하여 Amazon Bedrock의 bedrock-mantle 엔드포인트에 요청을 보내는 예시

내장된 추론 모드와 네이티브 함수 호출 기능을 통해 복잡한 에이전트 워크플로와 멀티모달 데이터 처리를 지원한다.

python

import base64

# Read a local image file and encode it as a base64 data URL.
with open("chart.png", "rb") as image_file:
    image_b64 = base64.b64encode(image_file.read()).decode("utf-8")
data_url = f"data:image/png;base64,{image_b64}"

response = client.chat.completions.create(
    model="google.gemma-4-31b",
    messages=[{ 
        "role": "user", 
        "content": [ 
            {"type": "image_url", "image_url": {"url": data_url}}, 
            {"type": "text", "text": "Describe the trend shown in this chart."} 
        ] 
    }],
)

멀티모달 기능을 위해 이미지를 base64로 인코딩하여 요청에 포함하는 예시

Standard, Priority, Flex 등 세 가지 서비스 티어를 제공하여 비용과 지연 시간 요구사항에 따라 유연한 리소스 할당이 가능하다.

503 오류 발생 시 지수 백오프와 점진적 트래픽 램핑 전략을 통해 프로덕션 환경의 안정적인 확장을 지원한다.

용어 해설

전문가 혼합(Mixture-of-Experts): — 전체 파라미터 중 요청마다 일부만 활성화하여 연산 효율을 높이는 아키텍처. 모델의 지식 용량은 유지하면서 추론 비용과 지연 시간을 획기적으로 줄인다.
프롬프트 캐싱(Prompt Caching): — 반복되는 프롬프트 접두사를 캐시에 저장하여 재사용하는 기법. 매번 토큰을 다시 계산할 필요가 없어 지연 시간과 비용을 줄인다.
오픈 웨이트(Open-Weight): — 모델의 가중치가 공개되어 누구나 다운로드 및 배포할 수 있는 모델. 오픈 소스와 유사하게 독립적인 평가와 커스터마이징이 가능하다.