TransitLM: 지도 없이 대규모 데이터셋과 맵프리 대중교통 경로 생성을 위한 데이터셋과 벤치마크

왜 중요한가

전통적 지도 기반 라우팅에 의존하지 않는 학습 기반 경로 생성의 가능성을 입증한다. 네 도시의 1.39천만 건의 경로 계획 로그를 활용해 네트워크 토폴로지와 공간 관계를 학습하며, GPS 좌표로부터 암묵적 공간 grounding을 보이는 게 특징이다. 단일 모델이 다양한 플래닝 objective를 처리하도록 일반화되는 점이 실용적 시사점을 제공한다.

핵심 기여

대규모 TransitLM 데이터셋

Beijing, Shanghai, Shenzhen, Chengdu의 120,845개 역, 13,666개 노선, 13.9M CPT 기록 및 1.0M 정적 역/노선 설명으로 구성된 연속 사전학습 코퍼스와 벤치마크 데이터 제공.

세 가지 벤치마크 태스크 및 10개 지표

Optimal Route Generation, Preference-Aware Planning, Multi-Route Generation의 3개 태스크와 10개 지표를 통해 경로 정확성, 선호 제약 충족, 출력 다양성을 평가.

암묵적 공간 grounding

GPS 좌표에서 적합한 승차/하차 역으로의 좌표 매핑을 학습을 통해 암묵적으로 달성, 맵 기반 조회 없이도 구조적 경로를 생성.

단일 모델의 다목적 일반화

공동 학습으로 세 가지 계획 목표를 달성하되 음의 전달 없이, 하나의 모델이 서로 다른 계획 목표를 처리하도록 일반화.

도메인 특화 데이터의 효용

도메인-적응 CPT를 통해 일반 대형 언어 모델 대비 성능 향상. CPT 데이터의 확장에 따라 성능이 증가하며, 4B-Joint가 벤치마크에서 최고의 성능을 달성.

핵심 아이디어 이해하기

출발지-도착지 정보만으로 경로를 생성하는 문제를 다룬다. 기존의 지도/노선 그래프 의존 방식의 한계를 데이터 기반 학습으로 극복하려는 동기가 있다. TransitLM은 120,845개의 역 ID를 토큰으로 등록해 역 단위의 공간 구조를 모델이 학습하게 하며, CPT를 통해 네트워크 토폴로지와 공간 관계를 학습한다. 이후 SFT를 통해 세 가지 벤치마크를 모두 다루도록 학습하고, GPS 좌표만으로도 암묵적 공간 grounding이 나타나며, 하나의 모델이 다수의 계획 목표를 지원한다는 점에서 실용성과 일반화 가능성을 입증한다.

방법론

데이터 수집 및 구성: Amap 데이터에서 4개 도시의 Route Plans, Station Information, Station Connectivity, Line Information를 수집. CPT 코퍼스는 12.9M 세션과 0.88M 역 설명, 0.148M 노선 설명으로 구성되며, 각 세션은 도시/출발지-도착지 좌표/POI 이름, 후보 경로, 세부 정보 등을 포함한다.
모델 및 어휘: 백본으로 Qwen3-Base 계열 사용, 120,845개의 역 ID를 토큰으로 등록하여 모든 역을 하나의 토큰으로 표현.
학습 파이프라인: CPT에서 next-token 예측으로 13.9M 레코드를 학습한 뒤, 3개 벤치마크에 대해 SFT를 실시. SFT 데이터는 벤치마크별로 30K 트레이닝/10K 테스트 샘플로 구성.
평가 프로토콜: ORG/PRG/DRG의 3태스크에 대해 10개 지표(연결성, 접근성, 경로 중복, 수치 정확도 등)와 태스크 특성 지표를 사용. 추론은 Greedy decoding으로 재현 가능하게 수행.

주요 결과

주요 벤치마크(Optimal Route Generation): 4B-Joint에서 연결성 97.9%, Station Grounding 98.9%, Distance Plausibility 92.9%, Line Overlap 0.835, Station Sequence Overlap 0.847, Route Exact Match 73.7%, Estimation Accuracy 98.6%, MAPE 1.30%.
선호 기반 계획 및 다중 경로 생성: PRG에서 REM 52.6%, DRG에서 RD 0.545 등 성능 우수.
데이터 스케일링 및 GPS-전용 평가: CPT 데이터 비율이 증가할수록 모든 지표가 증가; 예를 들어 6.25% 데이터에서 Connectivity 94.0%, REM 49.9%, MAPE 3.26%로 확인.
GPS-전용 ablation 및 도메인 모델 비교: 도메인 특화 모델은 GPS 입력에서 큰 성능 감소 없이 높은 REM/LO/SSO를 유지. 일반 LLM은 GPS-only에서 성능 급감.

기술 상세

아키텍처: LLM 기반 경로 생성으로, 역 ID를 토큰으로 취급하여 역 수준의 공간 토폴로지 학습. 네트워크 토폴로지와 공간 관계를 학습하는 데 집중.
수학적/알고리즘적 기초: next-token 예측 손실(교차 엔트로피)을 최소화하며, station-token화로 출발지-도착지 간의 경로를 구성. IoU 기반의 Line Overlap/Station Sequence Overlap 및 Route Exact Match를 통해 구조적 정합성 평가.
학습 전략: CPT(Continual Pre-Training)로 도메인 특화 지식 습득, 이후 SFT로 세 가지 벤치마크에 맞춘 지도 학습. 4B-Joint는 세 작업의 데이터로 공동 미세조정되어 태스크 간 지식 공유를 촉진.
데이터/구현 세부: 네 도시 총 120,845역, 13,666노선, 13.9M CPT 레코드, 1.0M 역/노선 정적 설명. 역 ID 120,845개를 고유 토큰으로 등록; 시퀀스 길이 4,096으로 pack; 64 PPUs에서 학습; 학습 속도/효율은 DeepSpeed Zero-3 기반으로 최적화. Greedy decoding으로 재현성 확보.
평가/실험 설정: ORG/PRG/DRG의 3개 벤치마크에 대해 10개 지표, 10K 테스트 샘플, 30K 학습 샘플 구성. GPS-only ablation 및 단일도시/다도시 CPT 등 추가 분석 수행.

한계점

4개 중국 도시로 한정된 데이터셋이며, 중국어 텍스트 및 단일 내비게이션 플랫폼(Amap) 데이터에 의존한다. 전국 확장 시 약 1.8M 역 토큰 필요 등 어휘 규모 문제, 실시간 정볼/교통 상황 반영 불가, 네트워크의 정적 스냅샷으로서의 한계, 다국어 지원 여부 불확실성.

실무 활용

맵 데이터 없이도 대중교통 경로 생성이 가능한 엔드-투-엔드 시스템에 적용 가능하다.

지도 의존 없이 출발지-목적지 좌표로 최적 경로를 생성하는 실무 앱
도시 확장 시 신규 역/노선 반영에 따른 신속한 재생성
GPS 좌표 기반 질의에 대한 암묵적 역 매핑 보조

코드 공개 여부: 공개

코드 저장소 보기

키워드

TransitLMmap-free transit route generationGPS groundingcontinual pre-trainingOrigin-Destination trajectoriesTransitBenchstation tokens

용어 해설

지속적 사전학습(Continual Pre-training): — 도메인 특화 지식을 얻기 위해 사전훈련을 반복적으로 수행하는 학습 방식으로, 모델이 새로운 도메인의 토폴로지와 관계를 내부적으로 파악하도록 돕는다.
역 매핑(Station Grounding): — GPS 좌표를 역 ID로 암묵적으로 매핑하는 모델의 능력으로, 좌표 기반 질의에 대해 적합한 역으로 연결될 수 있도록 학습된다.
거리 타당성(Distance Plausibility): — 예측된 접근 거리와 출발점 간의 직선 거리 간의 관계가 합리적임을 보장하는 평가지표로, dpred가 dgeo의 범위 내에 있도록 평가한다.
OD 궤적(Origin-Destination Trajectories): — 원-도착지 간의 이동 경로를 포함하는 기록들로, 경로 계획 태스크에서 핵심 입력/정답으로 활용된다.
세 가지 태스크 벤치마크(Three-Task Benchmark): — Optimal Route Generation, Preference-Aware Planning, Multi-Route Generation의 세 가지 벤치마크를 통해 경로 생성의 다양한 목표를 평가한다.