LLATISA: 시각적 지각에서 의미론까지 난이도별 계층화된 시계열 추론을 향하여

기존 언어 모델은 시계열 데이터를 단순한 텍스트 배열로 처리하여 미세한 수치 변화나 패턴을 파악하는 데 한계가 있었다. 이 논문은 시계열 추론을 4단계 인지 계층으로 정의하고 시각적 도표와 수치 테이블을 결합한 이중 입력 방식을 통해 복잡한 시계열 데이터에 대한 추론 정확도를 획기적으로 높였다.

기존의 시계열 처리 방식은 데이터를 텍스트 토큰으로 직렬화하거나 단순한 이미지로 변환하는 데 그쳤다. 하지만 인간이 시계열 데이터를 분석할 때 전체적인 그래프의 흐름(Perception)을 먼저 보고 필요한 지점의 정확한 수치(Grounding)를 확인한다는 점에 착안했다. LLATISA는 이러한 인간의 인지 과정을 모사하기 위해 시각적 정보와 수치적 정보를 결합한다.

모델은 Transformer 기반의 Vision-Language Model을 뼈대로 사용하며, 시계열 데이터를 두 가지 형태의 이미지로 변환하여 입력받는다. 하나는 전체적인 추세를 보여주는 선 그래프이고, 다른 하나는 각 시점의 정확한 값을 담은 고밀도 수치 그리드이다. 이를 통해 모델은 그래프에서 '급격한 하락'이라는 패턴을 인식함과 동시에 수치 테이블에서 해당 지점의 정확한 하락 폭을 계산할 수 있게 된다.

이러한 이중 입력 방식은 모델이 수치적 증거에 기반하여 논리적으로 사고하도록 유도한다. 결과적으로 단순한 패턴 매칭을 넘어 데이터 이면에 숨겨진 의미를 해석하고 미래를 예측하는 고차원적인 추론 능력을 갖추게 된다.

LLATISA는 Qwen3-VL-8B-Instruct를 백본으로 사용하는 VLM 기반 시계열 추론 모델이다. 핵심은 Dual-View Input 구조로, 시계열 데이터를 시각적 플롯(Visual Plot)과 구조화된 수치 테이블(Numerical Table) 이미지로 동시에 렌더링하여 입력한다. [시계열 데이터 → 이미지 렌더링 → VLM 인코더 → 멀티모달 추론] 순으로 연산이 진행되며, 이는 모델이 거시적 패턴과 미세 수치를 동시에 참조할 수 있게 한다.

학습은 3단계 커리큘럼 파인튜닝(Curriculum Fine-tuning)을 따른다. 1단계에서는 수치 읽기(L1)를 통해 기초적인 데이터 추출 능력을 배양하고, 2단계에서는 패턴 인식(L2)을 학습하며, 3단계에서는 도메인 지식을 결합한 의미론적 추론(L3)을 수행한다. 각 단계는 이전 단계의 인지적 능력을 바탕으로 쌓아 올려지며, 특히 L2와 L3 단계에서는 GPT-5를 활용해 생성하고 인간이 검증한 고품질의 Chain-of-Thought(CoT) 데이터를 학습에 활용한다.

LLATISA는 다양한 OOD(Out-of-Distribution) 벤치마크에서 기존 SOTA 모델들을 압도하는 성능을 보였다. 특히 수치 읽기(L1) 작업에서 GPT-4o가 47.4%의 정확도를 기록한 반면, LLATISA는 86.8%를 달성하여 정밀한 수치 접지(Grounding) 능력을 입증했다. 패턴 인식(L2)의 글로벌 패턴 분석에서도 97.5%의 높은 정확도를 기록했다.

의미론적 추론(L3) 단계인 ECG 해석 실험에서도 LLATISA는 전문 모델인 GEM(LLaVA 기반) 대비 진단 정확도와 증거 기반 추론 능력이 크게 향상되었다. 특히 CoT(Chain-of-Thought)를 포함하여 학습했을 때, 포함하지 않은 경우보다 OOD L3 작업 정확도가 17.91%p 상승하는 결과를 보여 논리적 추론 경로 학습의 중요성을 확인했다.

LLATISA의 아키텍처는 시계열 데이터를 텍스트가 아닌 '이미지'로 처리함으로써 VLM의 강력한 시각적 추론 능력을 시계열 도메인으로 전이한다. 수치 테이블을 이미지화할 때는 'High-Density Numeric Grid' 형식을 사용하여 제한된 토큰 예산 내에서 최대한 많은 수치 정보를 모델에 전달한다. 이는 텍스트 직렬화 시 발생하는 컨텍스트 길이 제한 문제를 효과적으로 해결한다.

학습 과정에서 사용된 HITSR 데이터셋은 규칙 기반 생성과 LLM 보조 주석 생성을 혼합하여 구축되었다. 특히 L3 데이터는 실제 세계의 시계열 데이터(교통량, 전력 소비 등)를 기반으로 시나리오를 구성하고, GPT-5가 생성한 추론 경로를 인간 전문가가 교차 검증하여 데이터의 신뢰성을 확보했다. 커리큘럼 학습 시 각 단계의 데이터 비중을 조절하여 모델이 하위 단계의 능력을 잊지 않으면서 상위 단계의 지식을 습득하도록 설계되었다.

본 연구는 주로 지도 학습 기반의 커리큘럼 파인튜닝에 집중하고 있으며, 강화 학습(RL)을 통한 추론 능력 고도화는 향후 과제로 남겨두고 있다. 또한 모델 초기화 시의 콜드 스타트 문제와 복잡한 보상 설계의 어려움이 한계점으로 언급되었다.