Amtrak 철도 데이터를 연결하는 Rail Intelligence 플랫폼

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

Amtrak은 신규 열차 fleet과 철도 인프라 재건에 맞춰 서로 분리된 telemetry, 예약, 운행, 자산 데이터를 Databricks 기반 Rail Intelligence 플랫폼에 통합했습니다. Lakeflow Connect와 real-time streaming으로 신호를 수집하고, Delta Lake와 medallion architecture로 정제한 뒤 Unity Catalog의 lineage와 접근 제어를 적용해 trusted data product로 운영합니다. 이 기반에서 MLflow와 Model Serving이 anomaly detection, computer vision defect pipeline, delay probability scoring을 실행하며 예측 정비와 운행 준비, 예약 전환, capital prioritization을 지원합니다. 앞으로 Genie 기반 자연어 질의와 agentic workflow를 추가하고, 새 열차·프로젝트·예약에서 유입되는 데이터로 모델과 플랫폼의 가치를 누적시킬 계획입니다.

섹션별 상세

Amtrak은 21,000 track miles 규모의 미국 여객 철도망을 운영하면서 두 개의 신규 열차 fleet 도입과 터널·교량·철도 yard 재건을 동시에 진행하고 있습니다. 그러나 fleet telemetry, 40년 된 Arrow mainframe의 예약 정보, spreadsheet 기반 capital project 데이터, wayside detector readings가 서로 다른 시스템에 흩어져 있었습니다. 이 구조에서는 장비 상태와 승무원 배치, 승객 수요를 연결하기 어려워 고장이 난 뒤 대응하는 운영이 반복됐고, 신규 열차가 추가될수록 데이터 silo가 더 빠르게 늘어날 위험이 있었습니다.

NextGen Acela 28 trainsets와 Siemens-built Airo 83 trainsets는 각각 운행 중 수천 개의 데이터 포인트를 생성하며, 현대식 trainset 하나에는 100개가 넘는 센서가 탑재됩니다. Amtrak은 이 신호를 개별 활용 사례별 point solution으로 처리하지 않고 Databricks의 단일 governed 환경으로 모으는 Rail Intelligence 플랫폼을 구축했습니다. Lakeflow Connect와 real-time streaming이 fleet IoT, wayside detector, dispatch, geospatial feed, Sqills S3 Passenger reservation, operational technology 데이터를 수집해 모든 열차 신호를 실시간으로 연결하는 기반을 형성합니다.

수집된 Raw event는 Delta Lake에 저장된 뒤 medallion architecture를 거쳐 정제·표준화되고, Unity Catalog의 lineage, domain access control, data quality contracts를 갖춘 신뢰 가능한 data product로 변환됩니다. 이 데이터 위에서 ML 모델이 anomaly detection, computer vision defect pipeline, delay probability scoring을 수행하며 MLflow로 관리되고 Model Serving으로 배포됩니다. 따라서 센서와 운영 이벤트가 저장에 그치지 않고 정비 알림, 결함 판별, 지연 가능성 계산처럼 실제 업무에 쓰이는 결과로 이어집니다.

Rail Intelligence는 Fleet Health Intelligence, Safety Intelligence, Operational Readiness, Reservations Intelligence, Capital Prioritization이라는 다섯 가지 intelligence product로 운영 성과를 연결합니다. Fleet Health Intelligence는 Acela와 Airo의 telemetry에서 door fault, bearing temperature deviation, power car anomaly를 찾아 정비팀에 사전 신호를 제공하고, Operational Readiness는 fleet availability·crew scheduling·maintenance window를 하나의 실시간 상태로 결합합니다. Capital Prioritization은 wayside inspection, ML anomaly score, fleet telemetry를 통합한 condition scoring으로 연간 5.5 billion dollar capital program의 우선순위를 live asset data에 근거해 정하도록 지원합니다.

플랫폼은 현재 여러 fleet에서 ML anomaly detection을 실행하는 governed 상태이며, 다음 단계로 delay probability model, revenue prediction, capital scoring을 추가하는 fully predictive 운영을 향합니다. 장기적으로는 Genie를 통한 agentic workflow와 자연어 질의, Databricks Apps 기반의 단일 접근 계층을 통해 개발자·분석가·경영진이 data product와 Unity Catalog lineage를 직접 확인하는 구조를 구축할 계획입니다. 새 trainset의 telemetry, 완료된 capital project의 condition data, 승객 booking의 demand signal이 기존 모델과 데이터 제품을 계속 보강하므로, 연결된 자산이 늘어날수록 플랫폼의 운영 가치가 커지는 구조입니다.

용어 해설

레이크하우스(Lakehouse): — 데이터 레이크의 대규모 원천 데이터 저장 기능과 데이터 웨어하우스의 정제·분석 기능을 하나의 플랫폼에 결합한 구조입니다. Amtrak은 열차 센서, 예약, 운행, 자산 데이터를 이 환경에 모아 실시간 분석과 ML 모델 운영에 활용합니다.
메달리온 아키텍처(Medallion Architecture): — 원천 데이터를 단계적으로 정제해 신뢰도 높은 데이터 제품으로 만드는 계층형 처리 방식입니다. Amtrak은 Raw 이벤트를 Delta Lake에 수집한 뒤 정제·표준화하고, 품질 계약과 계보 정보를 갖춘 데이터로 제공해 여러 운영 시스템의 신호를 일관되게 연결합니다.
예측 유지보수(Predictive Maintenance): — 장비의 센서 데이터를 분석해 고장이 발생하기 전에 이상 징후와 정비 필요 시점을 찾는 방식입니다. Amtrak은 문 고장, 베어링 온도 편차, 동력차 이상과 같은 신호를 지속적으로 분석해 사후 대응 중심의 정비를 예측 알림 중심으로 전환합니다.
Unity Catalog: — 데이터와 ML 자산의 접근 권한, 계보, 품질 정보를 중앙에서 관리하는 거버넌스 계층입니다. Rail Intelligence에서는 데이터 제품의 출처와 변환 이력을 추적하고 도메인별 접근 제어를 적용해 여러 부서가 신뢰할 수 있는 데이터를 사용하도록 합니다.
Genie: — 자연어 질문을 데이터 질의로 연결해 사용자가 코드를 직접 작성하지 않고도 분석 결과를 얻도록 하는 인터페이스입니다. Amtrak은 장기적으로 운영자가 운행·자산 데이터에 자연어로 질문하고, Databricks Apps를 통해 분석가와 경영진도 데이터 제품에 접근하는 환경을 구축하려 합니다.

기술

Databricks
Lakeflow Connect
Delta Lake
medallion architecture
Unity Catalog
MLflow
Model Serving
Genie
Databricks Apps
Sqills S3 Passenger
Arrow

활용 사례

열차 fleet 예측 유지보수
철도 운행 안전과 ride quality 모니터링
fleet availability와 crew scheduling 통합
Arrow에서 Sqills S3 Passenger로의 예약 시스템 전환
wayside inspection과 자산 상태 기반 capital prioritization