EverMind-AI/MSA
0 / 0
1억 개의 토큰을 처리하면서도 성능 저하를 최소화하는 종단간 학습 가능 잠재 메모리 프레임워크이다.
핵심 포인트
- 문서별 RoPE를 적용하여 학습 범위를 초과하는 1억 토큰까지의 컨텍스트 외삽을 수행함
- 청크 단위 평균 풀링으로 KV 캐시를 압축하여 메모리 점유율을 획기적으로 낮춤
- Memory Parallel 엔진을 통해 2대의 A800 GPU에서 대규모 토큰 처리량을 확보함
- Memory Interleave 기법으로 분산된 메모리 세그먼트 간의 복합적인 추론을 지원함
1.5k
STARS
82
FORKS
+814
TRENDING
0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.
