DBT와 Airflow를 활용한 데이터 계보 중심 파이프라인 구축기: Flow.er 사례

models:
  - name: table_name
    description: "example description"
    config:
      schedule-cron: "0 9 1 * *"
      start-date: "2025-07-01T08:00:00+09:00"
    backfill:
      schedule-cron: "0 9 1 * *"
      start-date: "2024-01-01T08:00:00+09:00"
      end-date: "2025-04-14T23:59:59+09:00"

from sqlglot import parse_one, exp

sql = "SELECT * FROM source_table WHERE dt = '2023-09-01'"
expression = parse_one(sql)
for table in expression.find_all(exp.Table):
    print(f"Table: {table.name}")
// ...(중략)
// SQLGlot을 활용하여 쿼리 내 테이블 및 파티션 조건 추출 로직 수행