LLM API의 불확실성에 관한 노트: OpenAI, Anthropic, Google, AWS 실제 사용 경험

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

저자는 자신의 저서 'LLMs for Mortals'를 Quarto로 집필하며 코드를 실행하는 과정에서 겪은 LLM API들의 불안정성을 정리했다. OpenAI의 추론 모델, Anthropic의 구조화된 출력, Google의 지도 그라운딩, AWS Bedrock의 모델 호출 등에서 발생한 비결정론적 오류와 기술적 결함을 다룬다. 특히 온도(Temperature) 조절이 불가능한 추론 모델의 특성상 발생하는 결과의 가변성과 실제 프로덕션 환경에서의 대응 방안을 제시한다.

배경

LLM API 기초 지식, Python 프로그래밍, JSON 파싱 및 스키마 이해

대상 독자

LLM API를 활용해 프로덕션 서비스를 개발하거나 관련 기술 서적을 집필하는 개발자

의미 / 영향

LLM 기술이 발전함에도 불구하고 API 수준의 비결정론적 오류와 모델 성능의 일시적 변동은 여전히 존재하며, 개발자는 이를 프로그래밍으로 해결해야 하는 과제를 안고 있다.

섹션별 상세

OpenAI의 추론 모델(gpt-5.2 등)은 웹 검색과 이미지 분석을 결합한 복잡한 작업에서 간헐적으로 성능 저하를 보이며, 특정 시점에 이미지 다운로드 실패나 부정확한 답변을 출력하는 현상이 관찰됐다.

OpenAI의 추론 모델을 사용한 웹 검색 및 데이터 추출 코드 예시 — Screenshotgpt-5.2 모델을 사용하여 특정 블로그 포스트의 차트에서 데이터를 추출하는 프롬프트와 API 호출 구조를 보여준다. reasoning 파라미터의 effort 설정을 통해 추론 강도를 조절하는 방식을 확인할 수 있다.

Anthropic API를 이용해 JSON 구조화된 출력을 생성할 때, 드물게 응답 끝에 불필요한 대괄호가 포함되어 파싱 에러를 유발하는 사례가 확인되었으며 이는 텍스트 파싱 로직의 견고함이 필요함을 시사한다.

Anthropic API의 stop_sequences를 활용한 JSON 생성 제어 코드 — ScreenshotJSON 생성 시 닫는 중괄호를 정지 시퀀스로 설정하여 불필요한 텍스트 생성을 방지하는 기법을 설명한다. 다만 이 방식이 실제로는 JSON 구조를 깨뜨릴 수 있다는 저자의 주의사항이 포함되어 있다.

Google의 Gemini 및 Vertex AI에서 제공하는 Google Maps grounding 기능은 API 오류보다는 데이터를 찾을 수 없다는 무의미한 결과를 반환하는 경우가 많아 신뢰도가 낮았다.

Google Maps grounding 도구를 사용하는 Gemini API 코드 — ScreenshotVertex AI 클라이언트를 통해 Google Maps 도구를 활성화하고 특정 주소에 대한 정보를 검색하는 과정을 보여준다. thinking_config를 통해 추론 예산을 설정하는 구체적인 API 사용법이 명시되어 있다.

AWS Bedrock을 통해 DeepSeek 모델을 호출할 때 응답 내용은 비어있지만 API 호출 자체는 성공으로 처리되는 빈 응답(Empty Response) 문제가 발생하여 예외 처리가 중요함을 확인했다.

AWS의 IAM 권한 설정 복잡성과 Knowledge Bases의 높은 비용은 개인 프로젝트나 소규모 개발자에게 진입 장벽이 되며, 상대적으로 OpenAI의 벡터 검색 저장소가 사용성 면에서 우수하다.

실무 Takeaway

추론 모델은 온도를 0으로 설정할 수 없어 결과가 항상 가변적이므로, 프로덕션 환경에서는 여러 번의 재시도나 결과 검증 로직을 반드시 포함해야 한다.
JSON 출력을 강제할 때 Pydantic 스키마를 사용하더라도 드문 케이스의 문법 오류에 대비한 견고한 파싱 처리가 필요하다.
특정 도메인 특화 기능은 신뢰도가 낮을 수 있으므로 결과물의 유효성을 모니터링하는 별도의 평가 체계를 구축해야 한다.

언급된 리소스

문서LLMs for Mortals