재현 가능한 데이터 사이언스를 위한 실험적 오케스트레이션 언어 'T' 개발

커뮤니티 반응

작성자가 직접 프로젝트를 소개하며 피드백을 요청했으며, Nix를 활용한 재현성 확보 방식에 대해 긍정적인 관심이 나타났다.

주요 논점

01찬성다수

Nix를 하드웨어 의존성으로 설정하여 재현성을 강제하는 설계는 기존 도구들이 해결하지 못한 근본적인 문제를 해결한다.

합의점 vs 논쟁점

합의점

R과 Python 프로젝트의 의존성 관리는 여전히 어려운 문제이며 언어 간 경계를 넘는 도구가 필요하다.
Apache Arrow는 다국어 데이터 파이프라인의 효율적인 데이터 교환을 위한 적절한 선택이다.

논쟁점

Nix를 필수 의존성으로 두는 것이 일반 사용자들에게 설치 및 학습 장벽이 될 수 있다.

실용적 조언

데이터 사이언스 프로젝트의 재현성을 위해 Nix를 도입하면 시스템 라이브러리 버전 차이로 인한 오류를 방지할 수 있다.
다국어 환경에서 모델을 공유할 때 PMML 형식을 사용하면 특정 언어 런타임에 의존하지 않는 예측 시스템 구축이 가능하다.

섹션별 상세

데이터 사이언스 프로젝트에서 R과 Python의 의존성 전이로 인해 시간이 흐른 뒤 코드가 작동하지 않는 재현성 문제가 빈번하게 발생한다. T는 모든 파이프라인 노드를 Nix 샌드박스 내에서 실행하여 시스템 레벨의 의존성까지 완전히 고정하는 방식을 채택했다. 공유된 코드 예시에서 pipeline 블록으로 감싸지 않은 스크립트는 실행 자체가 불가능하도록 설계되어 재현성을 강제한다. 이는 개별 라이브러리 관리 도구인 uv나 renv가 해결하지 못하는 운영체제 및 언어 간 의존성 충돌을 근본적으로 차단하는 효과가 있다.

서로 다른 언어 간의 데이터 이동 시 발생하는 직렬화 오버헤드와 데이터 타입 불일치 문제가 다국어 파이프라인 구축의 장애물로 작용한다. T는 Apache Arrow IPC를 통해 R, Python, T 노드 간에 데이터프레임을 전송하고, PMML 형식을 사용하여 학습된 모델을 공유한다. 원문은 ^pmml, ^csv와 같은 일급 직렬화 도구 레지스트리를 통해 빌드 타임에 데이터 계약 위반을 감지할 수 있음을 보여준다. 이를 통해 런타임 에러를 줄이고 언어의 제약 없이 최적의 도구를 조합한 워크플로 구성이 가능해진다.

text

p = pipeline {
  -- Native T node
  data = node(command = read_csv("data.csv") |> filter($age > 25))

  -- rn defines an R node; pyn() a Python node
  model_r = rn(
    command = { 
      -- R code here
    },
    serializer = ^pmml,
    deserializer = ^csv
  )

  -- Back to T for predictions
  predictions = node(
    command = data |> mutate($pred = predict(data, model_r)),
    deserializer = ^pmml
  )
}

build_pipeline(p)

T 언어를 사용하여 R 노드와 기본 노드를 연결하고 PMML로 모델을 전달하는 다국어 파이프라인 정의 예시

기존 오케스트레이션 도구들이 범용 언어의 복잡성을 그대로 가져오는 것과 달리, T는 데이터 처리에 특화된 엄격한 함수형 DSL로 설계됐다. 루프나 가변 상태를 배제하고 모든 에러를 예외가 아닌 값으로 처리하며, 파이프 연산자를 통해 데이터 흐름을 제어한다. NSE(Non-Standard Evaluation) 컬럼 구문인 $col을 지원하여 dplyr과 유사한 직관적인 데이터 조작 환경을 제공한다. 함수형 패러다임을 강제함으로써 부수 효과를 최소화하고 파이프라인의 예측 가능성을 높이는 설계 철학을 반영했다.

용어 해설

닉스(Nix): — 시스템 전체의 의존성을 선언적으로 관리하고 격리된 환경을 제공하는 패키지 관리자이다. 모든 빌드 결과물을 고유한 해시 경로에 저장하여 '내 컴퓨터에서는 되는데'와 같은 환경 불일치 문제를 근본적으로 해결한다. 데이터 사이언스 파이프라인에서 운영체제 라이브러리까지 포함한 완전한 재현성을 보장하는 핵심 기반이 된다.
아파치 에로우(Apache Arrow): — 언어에 무관하게 메모리 내 컬럼형 데이터를 효율적으로 처리하기 위한 프레임워크이다. 서로 다른 프로그래밍 언어(R, Python 등) 간에 데이터를 주고받을 때 직렬화 및 역직렬화 오버헤드 없이 메모리를 공유하거나 IPC를 통해 고속으로 전송할 수 있게 한다. 다국어 데이터 파이프라인의 성능 병목을 해결하는 표준 기술이다.
예측 모델 마크업 언어(PMML): — XML 기반으로 예측 모델을 표현하는 표준 형식이다. 특정 프로그래밍 언어나 라이브러리에 종속되지 않고 학습된 모델을 저장하고 다른 환경에서 실행할 수 있게 지원한다. Python에서 학습한 모델을 별도의 런타임 설치 없이 T 언어 환경에서 즉시 예측에 활용하는 등의 상호운용성을 제공한다.
도메인 특화 언어(DSL): — 특정 산업이나 문제 영역을 해결하기 위해 설계된 프로그래밍 언어이다. 범용 언어보다 해당 분야의 개념을 더 직관적으로 표현할 수 있으며, T의 경우 데이터 사이언스 파이프라인 오케스트레이션에 최적화된 문법을 제공한다. 복잡한 워크플로를 간결하고 안전하게 정의하는 데 목적이 있다.
오케스트레이션(Orchestration): — 여러 개의 독립된 작업이나 서비스들을 조율하여 하나의 완성된 워크플로로 관리하는 프로세스이다. 데이터 사이언스에서는 데이터 로드, 전처리, 모델 학습, 평가 등의 단계를 순서에 맞게 실행하고 의존성을 관리하는 것을 의미한다. 복잡한 파이프라인의 자동화와 안정적인 실행을 가능하게 한다.

언급된 도구

T (tlang)추천링크

재현 가능한 데이터 사이언스 파이프라인 오케스트레이션 DSL

Nix추천

환경 격리 및 의존성 관리

Apache Arrow추천

언어 간 고속 데이터 교환

언급된 리소스

GitHubT (tlang) GitHub Repository

문서T (tlang) Documentation