TL;DR
Apache Airflow 3.0 이상을 지원하는 'apache-airflow-providers-common-ai' 패키지가 공식 출시됐다. 이 패키지는 Pydantic AI를 기반으로 구축되어 OpenAI, Anthropic, Google 등 20개 이상의 모델 제공업체를 단일 인터페이스로 통합한다. 단순한 API 래퍼를 넘어 에이전트의 도구 호출, 상태 저장형 재시도(Durable Execution), 인간의 승인 루프(HITL) 등 프로덕션 환경에 필수적인 기능을 Airflow 네이티브 방식으로 제공한다. 이를 통해 데이터 파이프라인 내에 LLM 추론과 자율 에이전트 워크플로를 안정적으로 통합할 수 있게 됐다.
배경
Apache Airflow 3.0+, Python 프로그래밍 지식, Pydantic 라이브러리에 대한 이해
대상 독자
데이터 엔지니어 및 LLM 워크플로를 프로덕션에 배포하려는 AI 개발자
의미 / 영향
Airflow가 단순한 오케스트레이터를 넘어 AI 에이전트 실행 플랫폼으로 진화하고 있음을 보여준다. 특히 기존 인프라(Hook)와의 강력한 결합과 비용 최적화 기능은 기업들이 LLM을 실제 비즈니스 로직에 통합하는 진입 장벽을 크게 낮출 것이다.
섹션별 상세
- 20개 이상의 모델 제공업체를 단일 패키지에서 지원한다. — By the Numbers 섹션 및 Any Model, One Interface 표
@task.llm(
llm_conn_id="my_openai_conn",
system_prompt="Extract named entities.",
output_type=Entities,
)
def extract(text: str):
return f"Extract entities from: {text}"Pydantic 모델을 사용하여 LLM으로부터 구조화된 출력을 직접 받는 TaskFlow 데코레이터 예시
@task.agent(
llm_conn_id="my_openai_conn",
system_prompt="You are a SQL analyst. Use tools to answer questions with data.",
toolsets=[
SQLToolset(
db_conn_id="postgres_default",
allowed_tables=["customers", "orders"],
max_rows=20,
)
],
)
def analyze(question: str):
return f"Answer this question about our data: {question}"SQLToolset을 사용하여 데이터베이스를 분석하는 멀티 스텝 에이전트 정의 예시


- Durable Execution을 통해 캐싱된 단계는 밀리초 단위로 재현된다. — Durable Execution 섹션의 'replay from cache in milliseconds' 문구

용어 해설
- Model Context Protocol (MCP)
- — AI 모델이 외부 데이터 소스 및 도구와 상호작용하기 위한 개방형 표준 프로토콜이다. 이를 통해 서로 다른 플랫폼 간에 도구와 데이터 소스를 쉽게 공유하고 연결할 수 있는 생태계를 구축할 수 있다.
- Durable Execution
- — 워크플로 실행 중 장애가 발생하더라도 처음부터 다시 시작하지 않고 마지막 성공 지점부터 재개할 수 있는 메커니즘이다. LLM 에이전트의 경우 이전 단계의 추론 결과와 도구 호출 값을 캐싱하여 API 비용과 시간을 절약한다.
- Human-in-the-Loop (HITL)
- — AI 시스템의 의사결정 과정에 인간이 직접 개입하여 결과를 검토, 승인 또는 수정하는 설계 패턴이다. LLM이 생성한 코드나 중요한 비즈니스 결정을 실행하기 전 안전성과 정확성을 보장하기 위해 사용된다.
- XCom
- — Apache Airflow에서 태스크 간에 데이터를 공유하기 위해 사용하는 통신 메커니즘이다. LLM 태스크가 생성한 구조화된 데이터나 에이전트의 최종 응답을 다음 단계의 태스크로 전달하는 데 활용된다.
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.

