한 줄 브리프에서 샷 목록을 생성하고 비디오 모델을 호출하는 에이전트 구현 경험

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

한 줄 브리프를 받아 샷별 속성(character, action, camera, duration, mood)을 출력하고 각 샷을 비디오/이미지 모델에 넘기는 에이전트를 구현하면서 플래너가 자유문을 반환해 포맷 오류와 오탐이 발생하는 문제를 경험했다. 문제 해결을 위해 JSON Schema로 구조를 엄격히 규정하고 additionalProperties를 false로 설정하며 샷 수를 6으로 제한하고 각 필드 길이를 약 15단어로 검증한 뒤 툴 호출 전 검증을 통과하지 못하면 최대 3회까지 재시도하는 제어 흐름을 도입했다. 미디어 추론 계층은 Atlas Cloud MCP 서버를 통해 여러 모델을 callable tools로 추상화했고 이로 인해 모델별 API 래퍼가 필요 없어졌으나 플래너의 샷 타이밍 판단 오류(예: 3초짜리 샷에 8초 할당)는 여전히 규칙 기반 보정이나 플래너 개선이 병행되어야 하는 한계를 드러냈다.

실용적 조언

플래너 출력이 툴 호출의 직접 입력이 되는 파이프라인에서는 입력·출력 계약을 코드로 명시해야 안정성이 확보된다. 구체적으로 JSON Schema로 required 필드와 타입을 강제하고 additionalProperties를 false로 설정하면 플래너가 임의 필드를 생성해 downstream을 깨뜨리는 사례를 방지할 수 있다. 또한 각 필드의 길이를 제한하고 샷 수 상한을 두면 지나치게 상세한 자연어 출력을 억제하여 미디어 모델 프롬프트로서의 적합성을 높일 수 있다.
재시도 루프는 형식적 오류를 자동으로 교정하는 데 유효한 패턴이며 검증 실패 시 오류 메시지와 함께 최대 시도 횟수를 제한하는 것이 중요하다. 이 글에서는 최대 3회 재시도를 적용해 대부분의 포맷 문제를 해결했고, 재시도 시에는 검증 오류를 모델에 명시적으로 포함하여 정정 방향을 제시해야 재현성이 높아진다. 재시도 메커니즘과 함께 로그와 오류 사유를 저장하면 어떤 유형의 출력 오류가 반복되는지 파악해 플래너 prompt나 규칙을 개선하는 근거로 활용할 수 있다.
미디어 모델을 다수 운영하는 경우에는 각 모델의 API 차이를 추상화하는 중간 서버 또는 MCP(Marketplace/Manager/Connector) 계층을 도입하는 것이 유지보수 비용을 줄인다. Atlas Cloud MCP 같은 계층은 여러 모델을 callable tool로 노출하여 에이전트가 단일 인터페이스로 툴을 호출하게 하며, 이로 인해 에이전트 개발자는 모델별 래퍼를 구현할 필요 없이 샷 플래닝과 검증 로직에 집중할 수 있다. 다만 이 접근은 MCP가 제공하는 파라미터 세트에 맞춰 플래너 출력을 규격화해야 하므로 스키마 설계와 MCP 인터페이스 동기화가 필수이다.

섹션별 상세

플래너가 자연어 브리프를 입력받아 샷 배열을 생성하는 초기 설계는 실무 생산 파이프라인의 핵심 문제를 지적했다; 문제는 플래너가 종종 유효한 JSON 대신 장황한 문단을 반환했고 필수 필드가 누락되거나 존재하지 않는 툴 파라미터를 만들어냈다는 점이다. 입력에서 처리까지의 흐름은 brief → planning model → JSON shots로 이어지고 이 출력이 미디어 툴 호출의 입력이 되며, 이 과정에서 구조적 일관성이 없으면 downstream 툴이 실패한다. 원문에 포함된 예시는 character/action/camera/duration/mood 같은 필드가 있어야 함에도 불구하고 실제 출력에서는 duration이 빠지거나 문장이 길어 유효한 프롬프트로 쓰기 어렵다는 구체적 사례가 제시되었다. 이 문제는 자동화된 콘텐츠 생성 파이프라인에서 구조 검증이 필수임을 보여주며 플래너 출력 형식에 대한 엄격한 계약 필요성을 드러냈다.

형식적 오류를 줄이기 위해 도입한 해결책은 엄격한 JSON 스키마, additionalProperties를 false로 설정한 구조 제한, 샷 수 상한을 6으로 두는 규칙, 각 필드별 약 15단어 길이 제한, 그리고 최대 3회 재시도 루프 같은 검증·제어 장치들의 조합이었다. 스키마는 반환 객체의 required 필드와 타입을 강제하여 프로세스 초기에 구조적 결함을 탐지하고, 길이 제한과 샷 상한은 지나치게 상세하거나 과도한 출력을 억제하여 미디어 툴 입력으로 적합한 범위로 압축하는 역할을 했다. 재시도 루프는 검증 실패 시 오류 피드백을 플래너에 전달하고 정정된 출력을 요청하는 제어 흐름을 구현하여 대부분의 형식 문제를 자동으로 수정할 수 있게 만들었다. 이 조합은 포맷 오류로 인한 툴 호출 실패를 현저히 낮추며, 정형화된 계약이 없는 경우 발생하는 불확실성을 체계적으로 줄이는 효과가 있었다.

미디어 레이어 아키텍처는 Atlas Cloud MCP 서버를 통해 이미지·비디오 모델을 callable tools로 노출하여 에이전트가 개별 모델별 API 래퍼를 일일이 구현할 필요를 없애는 방향으로 설계되었다. 에이전트는 각 샷의 구조화된 속성을 검증한 뒤 Atlas Cloud MCP에 정의된 툴 인터페이스로 요청을 전달하고, 이 서버는 내부적으로 여러 모델을 호출해 결과물을 반환하는 역할을 수행한다. 글에서는 또한 다른 구현 사례를 참고하기 위해 awesome-agent-skills와 AtlasCloudAI/atlas-cloud-skills 레포지토리를 검토했다고 명시되어 있어 재사용 가능한 스킬 패키징 관행을 확인한 점이 근거로 제시되었다. 이 접근은 모델별 고유한 API 차이를 추상화하여 에이전트 개발자가 샷 플래닝과 검증 로직에 집중할 수 있게 한다.

운영상 남은 문제로는 플래너의 페이싱 판단 오류가 보고되었는데, 구체적으로 적절한 샷 길이를 잘못 추정해 3초여야 할 샷에 8초를 할당하는 사례가 있었다는 점이 확인되었다. 구조적 검증은 형태상의 오류를 잡아내지만 내용적 타이밍 결정은 별도 로직이나 후처리 규칙이 필요하며 글에서는 이 부분이 여전히 수동 보정이나 추가 규칙으로 해결되고 있다고 언급되었다. 결과적으로 스키마와 재시도 루프는 대부분의 형식적 실패를 제거했으나 샷 레벨의 타이밍·리듬 같은 의미론적 판단은 플래너 성능 개선이나 규칙 기반 보정이 병행되어야 한다는 한계가 드러났다.

용어 해설

JSON 스키마(JSON Schema): — JSON 스키마는 JSON 문서의 구조와 필드 타입을 기계가 검증할 수 있게 정의하는 형식이다. 입력 객체에 required, additionalProperties, 문자열 길이 제한 등 규칙을 적용하여 플래너가 반환하는 출력이 툴 호출에 적합한 구조인지 자동으로 검사한다. 올바른 스키마 검증은 downstream 미디어 생성 도구가 예측 불가능한 자유문을 받지 않도록 막아 형식 오류와 호출 실패를 줄이는 데 중요하다.
플래닝 모델(Planning Model): — 플래닝 모델은 자유문 브리프를 입력으로 받아 샷 리스트나 스크립트 같은 구조화된 계획을 생성하는 언어 모델 계열이다. 입력을 파싱하고 샷 단위의 속성(character, action, camera, duration, mood)을 출력하며, 이 출력은 이후 미디어 생성 툴에 전달되어 장면별 자산을 만든다. 플래너의 출력 품질이 전체 워크플로의 정확도와 재현성에 직접 영향을 미친다.
미디어 생성(Media Generation): — 미디어 생성은 이미지·비디오 모델을 사용해 텍스트 프롬프트로 시각 자산을 생성하는 작업이다. 각 샷의 character, action, camera, duration, mood 같은 구조화된 속성을 받아 해당 장면의 프레임이나 클립을 생성하고, 생성 모델의 입력 파라미터와 추론 API를 통해 결과물이 출력된다. 에이전트는 이 과정을 자동화하여 샷별로 적절한 모델 호출과 파라미터 전달을 담당한다.
재시도 루프(Retry Loop): — 재시도 루프는 플래너 출력이 스키마 검증을 통과하지 못했을 때 피드백을 생성하고 재요청을 수행하는 제어 구조이다. 검증 실패 시 오류 메시지와 함께 최대 시도 횟수(예: 3회)만큼 모델에 재요청을 보내 형식적 오류를 교정하도록 유도한다. 이 방식은 불완전한 자연어 출력을 자동으로 정형화할 기회를 제공하여 툴 호출 실패를 줄인다.

코드 예제

json

{
  "brief": "30s promo for a coffee brand, morning vibe",
  "shots": [
    {
      "character": "young founder holding coffee",
      "action": "opens the cafe door at sunrise",
      "camera": "slow push-in from outside window",
      "duration": 4,
      "mood": "warm, quiet, early morning"
    },
    {
      "character": "barista pouring latte",
      "action": "steam rises as the cup is placed down",
      "camera": "close-up, slight handheld movement",
      "duration": 3,
      "mood": "cozy, premium, tactile"
    }
  ]
}

플래너가 반환해야 하는 샷 목록 예시 JSON로, brief와 shots 배열에 각 샷의 character, action, camera, duration, mood 필드를 포함하는 구조를 보여준다.

언급된 도구

Atlas Cloud MCP중립

이미지·비디오 모델을 callable tools로 노출하여 에이전트와 모델 간 인터페이스를 추상화하는 서버 역할

AtlasCloudAI/atlas-cloud-skills중립

재사용 가능한 에이전트 스킬 패키지 예시로서 워크플로 구성과 스킬 포맷을 참고할 수 있는 리포지토리

awesome-agent-skills중립

에이전트 스킬과 워크플로 재사용 사례를 모아놓은 컬렉션으로 구현 패턴 참고용