TL;DR

PRAGMA 논문을 바탕으로 한 오픈소스 구현으로, 은행 사용자 히스토리를 key-value-time 토크나이저와 padding-free Transformer 계열 인코더로 임베딩까지 생성하는 종단간 스택을 제공합니다. 합성 데이터 생성기, 토크나이저, 사전학습/재현 가능한 체크포인트, 배치 임베딩, Triton 기반 서빙, AML용 GraphSAGE 경로와 데모·노트북을 모두 포함해 연구·프로토타이핑과 프로덕션 검증 모두에 쓸 수 있습니다. CPU 우선 설계라 GPU가 없어도 검증이 가능하고, 토크나이저-체크포인트 일치와 데이터 계약(parquet 스키마)을 엄격히 요구하므로 실제 은행 데이터로 쓰려면 사전 변환과 검증을 준비해야 합니다.

핵심 포인트

• 레포지토리는 라이브러리·SDK 성격을 가진 Python 패키지이면서 가벼운 CLI를 함께 제공하는 구현체입니다. PyPI 배포와 Typer 기반 CLI, 그리고 라이브러리 API(api.py)를 통해 노트북과 프로덕션 호출이 동일한 공개 인터페이스로 설계되어 있어 연구용 실험뿐 아니라 파이프라인에 직접 통합하기에 적절합니다. Triton 백엔드, ONNX export, Streamlit 데모 같은 배포·검증 도구를 포함해 배포 경로까지 함께 제공하는 점이 특징입니다.
• 기능은 종단간 스택을 포함합니다: 결정론적 합성 은행 데이터 생성기, key-value-time tokenizer, padding-free PyTorch 모델(프로파일·이벤트·히스토리 인코더), 사전학습 파이프라인, 배치 임베딩, ONNX/Triton 서빙, Notebook과 Streamlit 데모까지 포함되어 있습니다. AML 실험을 위한 transfer-graph(GraphSAGE) 경로와 통합된 probe(기본은 gradient boosting), LoRA 파인튜닝, integrated-gradients 기반 설명 도구도 포함되어 있어 금융 리스크·사기·이탈 등 다양한 downstream 검증이 가능합니다. 토크나이저·체크포인트 해시, 재개 비트정밀성 같은 재현성 요소가 설계 전반에 반영되어 있어 실험 재현이 용이합니다.
• 운영·성능 설계는 ‘CPU 우선’ 철학을 따르며 CUDA/flash-attn은 가속 옵션으로 취급됩니다. 모든 주요 구성은 YAML로 노출되어 autoconfigure 모드로 대규모(수백만 레코드)에도 무손실로 스케일링하도록 설계되어 있고, checkpoint는 모델·옵티마이저·샘플러 위치·모든 RNG 상태를 캡처해 중단 복구 시 비트정확한 재현을 보장합니다. Triton python backend로 varlen native forward를 서비스하며 ONNX는 포팅성용으로 제공되므로 고처리량 배포와 이식성 사이에서 선택할 수 있습니다.
• 적용 대상과 한계가 README에 명확히 적혀 있습니다: 사용자 히스토리를 임베딩해 신용·이탈·LTV 같은 사용자 수준 태스크에 신호를 제공하는 데 유리하며, AML 같은 관계형 문제는 transfer graph 위의 GNN이 필요하다고 보고합니다. 합성 데이터와 엄격한 parquet 데이터 계약(events/profiles/labels 등)을 요구하므로 실제 은행 데이터에 적용하려면 사전 변환·검증 단계가 필요합니다. PRAGMA 논문에 충실한 구현을 목표로 하고 있으며 논문에서 다루지 않은 부분(예: 합성 데이터, AML GNN)은 구현자가 부가한 기능임을 README에서 분명히 밝히고 있습니다.

벤치마크

이미지 분석