시각적 파이프라인 빌더와 SeaTunnel 2.3.13 호환 Web UI
Apache SeaTunnel용 시각적 웹 UI로 파이프라인 설계부터 실행·모니터링까지 단일 인터페이스에서 처리한다.
TL;DR
SeaTunnel Web은 Apache SeaTunnel 2.3.13과 호환되는 서드파티 웹 UI로서 시각적 DAG 빌더로 소스-변환-싱크를 드래그 앤 드롭으로 조합하고 그 정의를 실행 가능한 SeaTunnel 구성 파일로 자동 생성해 제출한다. 프론트엔드 정적 자산과 Spring Boot 백엔드를 Nginx로 연결하는 분리형 아키텍처를 사용하며 메타데이터는 MySQL에 저장되어 작업 정의, 스케줄, 실행 이력과 로그를 중앙에서 관리한다. Docker Compose 예제가 제공되어 로컬에서 MySQL·API·프론트엔드를 함께 띄워 빠르게 기능을 확인할 수 있으나 현재 검증된 SeaTunnel 버전은 2.3.13이며 일부 고급 커넥터 매개변수는 스크립트 모드로 보완해야 한다.
주요 기능
- 시각적 DAG 편집기로 소스·변환·싱크 노드를 드래그 앤 드롭으로 구성한다.
- 시각 정의를 SeaTunnel 실행 가능한 구성 파일로 자동 생성해 반복 작업을 줄인다.
- 데이터소스 등록, 연결 테스트, 메타데이터 검사 기능으로 데이터 연결을 중앙 관리한다.
- 배치와 스트리밍 작업을 생성·게시·제출하고 스케줄링을 관리한다.
- 실행 로그와 읽기/쓰기 QPS, 처리량 등 핵심 런타임 메트릭을 UI에서 조회한다.
어떻게 동작하는가
프론트엔드와 백엔드를 분리한 아키텍처로서 프론트엔드는 정적 자산을 제공하고 백엔드 Spring Boot 서비스가 API와 WebSocket을 통해 실행 관리를 담당한다. Nginx는 컨테이너 배포에서 프론트엔드 자산 서빙과 API 프록시를 수행하며 백엔드는 MySQL 기반 메타데이터 DB와 통신해 작업 정의와 이력을 저장한다. 사용자가 시각적으로 구성한 DAG는 자동으로 SeaTunnel 구성 파일로 변환되어 지정한 SeaTunnel 엔진 주소로 제출되고 백엔드는 제출, 로그 수집, 상태 모니터링을 처리한다.
해결 문제
수작업으로 작성하던 SeaTunnel 구성 파일 관리와 다중 팀 환경에서의 표준화 문제를 해결한다. 시각적 빌더와 자동 구성 생성 기능은 복잡한 파이프라인을 시각적으로 설계하고 표준화된 실행 파일로 전환함으로써 설정 반복과 휴먼 에러를 줄인다. 또한 데이터소스 중앙 관리와 런타임 로그·메트릭 통합은 운영 중인 동기화 작업의 가시성과 유지보수성을 높인다.
지금 주목받는 이유
GitHub에서 1400개 이상의 스타와 데모 및 문서 링크를 통해 실사용 검토가 가능해 커뮤니티 관심이 높다.
차별점
- 시각적 DAG 빌더에서 직접 SeaTunnel 실행 구성을 생성해 수동 설정 단계를 생략한다.
- 배치와 스트리밍을 단일 인터페이스로 관리하면서 MySQL CDC 등 실시간 소스 구성을 통합한다.
- Docker Compose 기반 배포와 소스 빌드·패키지 방식을 동시에 제공해 로컬 개발과 프로덕션 배포를 모두 지원한다.
- 프론트엔드 정적 자산과 Spring Boot 백엔드를 분리해 Nginx 프록시 구성으로 운영 유연성을 확보한다.
사용 사례
- 데이터 엔지니어가 SeaTunnel용 ETL/ELT 파이프라인을 시각적으로 설계해 구성 표준을 확보하는 경우.
- 운영 팀이 MySQL CDC 기반의 실시간 동기화 파이프라인을 생성하고 런타임 로그와 메트릭을 통해 문제를 진단하는 경우.
- 신규 사용자나 비개발자 팀이 코드 작성 없이 낮은 코드로 데이터 파이프라인을 생성해 내부 온보딩을 단축하는 경우.
- 테스트/스테이징 환경에서 Docker Compose로 전체 스택을 띄워 통합 검증을 수행하는 경우.
시작하기
가장 권장되는 설치 방식은 Docker Compose이며 로컬에서 모든 관련 서비스를 함께 시작하도록 설계되어 있다. 기본 절차는 레포지토리를 복제한 뒤 환경 파일을 예제로부터 복사하고 `docker compose up -d --build`로 서비스를 빌드해 백그라운드에서 실행하는 것이다. 실행 후에는 브라우저에서 http://localhost:9527 를 열어 UI에 접속하고 SeaTunnel 엔진 주소를 등록해 테스트 연결과 간단한 파이프라인 실행을 확인할 수 있다.
요구사항
- JDK 21 이상
- Node.js 20 이상(소스 빌드 시)
- Yarn Classic 1.x
- MySQL 8.0 권장(메타데이터 DB)
- Docker Engine 및 Docker Compose v2
이미지 분석
1.4k
Stars
146
Forks
+211
Trending
0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.