Apache Airflow를 위한 Common AI Provider 출시: LLM 및 AI 에이전트 지원

섹션별 상세

01

기존의 복잡한 연동 과정을 단순화하기 위해 6개의 전용 오퍼레이터와 TaskFlow 데코레이터를 도입했다. @task.llm은 구조화된 데이터 출력을 지원하며, @task.agent는 복잡한 멀티 스텝 추론을 수행한다. 이를 통해 개발자는 복잡한 파싱 로직 없이 Pydantic 모델로 정의된 타입 안정성이 보장된 데이터를 하류 태스크로 전달할 수 있다.

02

Airflow가 보유한 350개 이상의 기존 Hook을 AI 에이전트의 도구로 즉시 변환할 수 있는 HookToolset 기능을 제공한다. S3, Slack, Snowflake 등 기존에 설정된 연결 정보와 자격 증명을 그대로 활용하여 에이전트에게 권한을 부여할 수 있다. 이는 별도의 MCP 서버 구축 없이도 기업 내 기존 인프라와 AI 에이전트를 안전하게 결합할 수 있게 한다.

python

@task.llm(
    llm_conn_id="my_openai_conn",
    system_prompt="Extract named entities.",
    output_type=Entities,
)
def extract(text: str):
    return f"Extract entities from: {text}"

Pydantic 모델을 사용하여 LLM으로부터 구조화된 출력을 직접 받는 TaskFlow 데코레이터 예시

python

@task.agent(
    llm_conn_id="my_openai_conn",
    system_prompt="You are a SQL analyst. Use tools to answer questions with data.",
    toolsets=[
        SQLToolset(
            db_conn_id="postgres_default",
            allowed_tables=["customers", "orders"],
            max_rows=20,
        )
    ],
)
def analyze(question: str):
    return f"Answer this question about our data: {question}"

SQLToolset을 사용하여 데이터베이스를 분석하는 멀티 스텝 에이전트 정의 예시

Airflow 로그에 표시된 에이전트의 SQL 분석 과정 — Screenshot에이전트가 수행한 도구 호출(list_tables, get_schema 등)과 그에 따른 실행 결과가 로그에 구조화되어 기록되는 모습을 보여준다. 이를 통해 에이전트의 추론 과정을 투명하게 모니터링할 수 있음을 확인시켜 준다.

03

LLM 호출 비용과 시간을 절약하기 위해 Durable Execution(지속성 실행) 메커니즘을 적용했다. 에이전트 실행 중 특정 단계에서 실패하더라도 이전까지의 모델 응답과 도구 실행 결과가 Object Storage에 캐싱된다. 재시도 시 캐싱된 데이터를 즉시 재생하여 중복된 API 호출을 방지함으로써 비용 효율성을 극대화한다.

Durable Execution을 통한 태스크 재시도 로그 — Screenshot장애 후 재시도 시 이전 단계의 결과들이 'replayed cached model response'로 표시되며 즉시 복구되는 과정을 보여준다. 이는 불필요한 API 호출 없이 실패 지점부터 재개됨을 증명한다.

04

신뢰할 수 있는 AI 운영을 위해 인간 참여형 루프(HITL) 기능을 UI 수준에서 통합했다. LLM의 출력을 다음 단계로 보내기 전 사용자가 검토 및 수정할 수 있는 승인 게이트와 에이전트와 대화하며 결과를 개선하는 반복 리뷰 기능을 지원한다. Airflow 웹 인터페이스 내 전용 플러그인을 통해 코드 수정 없이도 인간의 개입이 필요한 워크플로를 관리할 수 있다.

인간 참여형 루프(HITL) 승인 인터페이스 — ScreenshotLLM이 생성한 출력을 사용자가 확인하고 승인(Approve), 거부(Reject) 또는 수정할 수 있는 UI를 보여준다. 실제 운영 환경에서 모델의 결과물을 제어하는 구체적인 방식을 시각화한다.

용어 해설

모델 컨텍스트 프로토콜(Model Context Protocol (MCP)): — AI 모델이 외부 데이터 소스 및 도구와 상호작용하기 위한 개방형 표준 프로토콜이다. 이를 통해 서로 다른 플랫폼 간에 도구와 데이터 소스를 쉽게 공유하고 연결할 수 있는 생태계를 구축할 수 있다.
지속성 실행(Durable Execution): — 워크플로 실행 중 장애가 발생하더라도 처음부터 다시 시작하지 않고 마지막 성공 지점부터 재개할 수 있는 메커니즘이다. LLM 에이전트의 경우 이전 단계의 추론 결과와 도구 호출 값을 캐싱하여 API 비용과 시간을 절약한다.
인간 참여형 루프(Human-in-the-Loop (HITL)): — AI 시스템의 의사결정 과정에 인간이 직접 개입하여 결과를 검토, 승인 또는 수정하는 설계 패턴이다. LLM이 생성한 코드나 중요한 비즈니스 결정을 실행하기 전 안전성과 정확성을 보장하기 위해 사용된다.
엑스컴(XCom): — Apache Airflow에서 태스크 간에 데이터를 공유하기 위해 사용하는 통신 메커니즘이다. LLM 태스크가 생성한 구조화된 데이터나 에이전트의 최종 응답을 다음 단계의 태스크로 전달하는 데 활용된다.

기술

Apache Airflow
Pydantic AI
OpenAI
Anthropic
Google Vertex AI
AWS Bedrock
sqlglot

활용 사례

자연어 기반 SQL 쿼리 생성 및 실행
멀티모달 파일 분석 파이프라인
데이터베이스 스키마 변경 감지 및 비교
인간 승인이 포함된 자동화 보고서 생성

언급된 리소스

문서Airflow Registry - Common AI Provider