챕터별 상세
AI 엔지니어링의 문제 공간과 제약 사항
AI 엔지니어링은 비용, 지연 시간, 품질, 데이터 프라이버시라는 네 가지 주요 제약 조건을 동시에 고려해야 하는 영역이다. 발표자는 '자율성 슬라이더(Autonomy Slider)' 개념을 통해 단순 프롬프트에서 멀티 에이전트 시스템으로 갈수록 자율성은 높아지지만 제어력은 낮아지고 비용은 상승함을 지적한다. 모든 문제를 에이전트로 해결하려 하기보다 작업의 성격에 따라 워크플로와 에이전트 중 최적의 지점을 선택하는 설계 능력이 필수적이다. 이는 시스템의 복잡도를 낮추고 신뢰도를 높이는 핵심 전략이 된다.
자율성 슬라이더는 작업의 복잡도에 따라 Prompt -> Workflow -> Single Agent -> Multi-Agent 순으로 아키텍처를 선택하는 기준을 제시한다.
딥 리서치 시스템의 정의와 목표 지향적 루프
딥 리서치 시스템은 단순한 챗봇 대화가 아니라 추론 모델, 계획 수립, 자율성, 도구 사용이 통합된 목표 지향적 루프이다. 시스템은 Firecrawl을 통한 웹 스크래핑, Gemini의 Grounding 기능을 활용한 신뢰할 수 있는 검색, 유튜브 영상의 멀티모달 분석을 수행한다. 에이전트는 정보를 검색하고 검사하며 필요시 방향을 전환하여 주제에 대한 이해를 점진적으로 정교화한다. 최종적으로는 출처가 명시된 연구 아티팩트를 생성하여 후속 작업의 근거로 활용한다.
Grounding은 모델이 외부 검색 결과나 문서를 참조하여 답변의 정확성을 보장하는 과정을 의미한다.
MCP(Model Context Protocol) 기반 아키텍처 설계
MCP는 에이전트에게 도구와 데이터를 제공하는 오픈 표준으로, 에이전트를 '뇌(추론)'로, MCP 서버를 '손(기능)'으로 분리하는 구조를 가진다. FastMCP 라이브러리를 사용하여 파이썬으로 서버를 구축하고 리서치, 유튜브 분석, 결과 컴파일 도구를 등록하여 에이전트가 사용할 수 있게 한다. 이 구조는 에이전트가 특정 플랫폼에 종속되지 않고 Cursor나 VS Code 등 다양한 환경에서 동일한 도구를 표준화된 방식으로 호출할 수 있게 해준다. 도구 실행 환경과 추론 환경의 분리는 시스템의 유지보수성과 보안성을 크게 향상시킨다.
MCP는 Anthropic에서 제안한 프로토콜로, LLM 애플리케이션과 외부 데이터/도구 간의 연결을 표준화한다.
기술 글쓰기 워크플로와 AI Slop 방지 전략
리서치와 달리 글쓰기는 톤, 구조, 형식이 일관되어야 하므로 에이전트보다는 제약이 강한 워크플로 방식이 적합하다. 시스템은 리서치 결과물과 사용자의 가이드라인을 입력받아 초안을 작성하며, 'delve', 'tapestry'와 같은 상투적인 AI 표현을 금지하는 용어 프로필을 프롬프트에 주입한다. 이를 통해 'AI Slop'이라 불리는 저품질 콘텐츠 생성을 원천적으로 차단한다. 글쓰기 과정에 명시적인 제약 조건을 부여함으로써 모델이 창의성보다는 정확성과 스타일 가이드를 따르도록 유도한다.
AI Slop은 AI가 생성한 특징적인 상투어구가 포함된 저품질 콘텐츠를 뜻한다.
Evaluator-Optimizer 패턴을 통한 품질 개선
작성자(Writer)와 검토자(Reviewer) 역할을 분리하여 품질을 높이는 Evaluator-Optimizer 패턴을 적용한다. 검토자는 작성된 초안이 가이드라인, 리서치 근거, 스타일 프로필을 준수하는지 Pydantic 객체 형태로 구조화된 피드백을 제공한다. 작성자는 이 피드백을 바탕으로 내용을 수정하며, 이 루프를 3~4회 반복하여 할루시네이션을 제거하고 전문적인 품질을 확보한다. 사람이 직접 개입하는 대신 구조화된 피드백 루프를 자동화함으로써 대규모 콘텐츠 생성에서도 높은 수준의 품질 관리가 가능하다.
Pydantic을 사용하면 LLM의 출력을 엄격한 데이터 타입으로 강제하여 프로그램에서 안정적으로 처리할 수 있다.
관측 가능성 확보와 Opik을 활용한 평가
시스템이 실무에서 작동하려면 모든 LLM 호출과 도구 사용을 추적하고 측정하는 관측 가능성이 필수적이다. Opik 플랫폼을 사용하여 전체 워크플로의 지연 시간, 토큰 비용, 입출력 로그를 실시간으로 모니터링하고 추적한다. 또한 'LLM-as-a-Judge' 패턴을 구현하여 생성된 포스트의 품질을 자동으로 평가하고 F1 스코어를 계산하여 시스템 성능을 정량화한다. 이러한 데이터 기반 접근 방식은 프롬프트나 모델 변경 시 발생할 수 있는 성능 저하를 즉각적으로 감지하고 개선할 수 있는 기반이 된다.
LLM-as-a-Judge는 사람이 직접 평가하는 대신 고성능 모델을 사용하여 다른 모델의 결과물을 평가하는 방식이다.
용어 해설
- 모델 컨텍스트 프로토콜(MCP)
- — AI 에이전트가 데이터 소스 및 도구와 통신하는 방식을 표준화하는 개방형 프로토콜이다. 에이전트의 추론 로직과 실제 도구 실행 환경을 분리하여 재사용성과 확장성을 높이는 역할을 한다.
- AI 슬롭(AI Slop)
- — AI가 생성한 저품질의 상투적이고 무의미한 콘텐츠를 의미한다. 'delve', 'tapestry'와 같은 전형적인 AI 말투를 포함하며, 독자에게 실질적인 가치를 제공하지 못하는 문제를 지적할 때 사용된다.
- 평가자-최적화 도구 패턴(Evaluator-Optimizer)
- — 작성자 모델과 검토자 모델을 분리하여 결과물을 반복적으로 개선하는 설계 패턴이다. 검토자가 제공하는 구조화된 피드백을 바탕으로 작성자가 내용을 수정하여 최종 품질을 극대화한다.
- 그라운딩(Grounding)
- — LLM이 내부 학습 데이터에만 의존하지 않고 외부의 신뢰할 수 있는 정보원(웹 검색, 문서 등)을 참조하여 답변을 생성하는 기법이다. 할루시네이션을 줄이고 최신 정보를 반영하는 데 필수적이다.
- 파이단틱(Pydantic)
- — 파이썬에서 데이터 유효성 검사 및 설정을 관리하는 라이브러리이다. LLM의 출력을 특정 스키마로 구조화하여 에이전트 워크플로 내에서 데이터 처리를 안정화하는 데 널리 쓰인다.
코드 예제
python
from fastmcp import FastMCP
mcp = FastMCP("Deep Research")
@mcp.tool()
async def deep_research(working_dir: str, query: str) -> dict:
"""Research a topic using Gemini with Google Search Grounding."""
# Implementation logic here
return resultFastMCP를 사용하여 MCP 서버를 초기화하고 딥 리서치 도구를 등록하는 기본 구조
python
class Review(BaseModel):
profile: str = Field(description="Which constraint was violated")
location: str = Field(description="Where in the post the violation occurred")
comment: str = Field(description="What is wrong and how to fix it")
class PostReview(BaseModel):
reviews: List[Review]Pydantic을 사용하여 글쓰기 리뷰 피드백을 구조화하는 데이터 모델 정의
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 04. 21.수집 2026. 04. 21.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
