1,200만 토큰 컨텍스트 윈도우와 100% NIAH 정확도를 달성한 새로운 아키텍처 검증 요청

실용적 조언

긴 문맥 처리가 필요한 프로젝트의 경우 해당 연구팀의 벤치마크 스크립트를 활용해 현재 사용 중인 모델의 한계를 테스트해볼 수 있다.

섹션별 상세

1,200만 토큰에 달하는 방대한 컨텍스트 윈도우에서 NIAH(Needle In A Haystack) 테스트 결과 100%의 정확도를 기록했다. 8K부터 1,200만 토큰까지 모든 구간에서 정보 추출 성능이 저하되지 않고 유지되는 특성을 확인했다. 이는 기존 모델들이 컨텍스트 길이가 늘어남에 따라 성능이 급격히 하락하는 문제를 극복했음을 의미한다.

멀티 니들(Multi-needle) 검색 성능에서도 100만 토큰 기준 8개의 정보를 동시에 정확하게 추출하는 성과를 냈다. 복잡한 질의 상황을 가정한 RULER 벤치마크의 검색 서브태스크에서도 'Thinking Mode'를 통해 100% 정확도를 달성했다. 다중 정보 참조가 필요한 고난도 추론 작업에서 높은 신뢰성을 확보했다는 평가이다.

아키텍처는 속도 중심의 'Fast Mode'와 깊은 추론을 위한 'Thinking Mode' 두 가지 운영 모드로 작동한다. Fast Mode에서는 초당 126토큰의 빠른 추론 속도를 기록했으며, Thinking Mode는 연산 자원을 더 투입하여 복잡한 문맥 이해도를 높인다. 사용 사례에 따라 효율성과 정확도 사이의 균형을 선택할 수 있는 구조이다.

연구팀은 결과가 이례적으로 우수하다는 점을 고려하여 커뮤니티에 독립적인 재현을 요청했다. 깃허브를 통해 벤치마크 스크립트를 공개했으며, 외부 연구자들이 직접 데이터를 검증하여 결과의 객관성을 확보하려는 목적이다. 투명한 검증 과정을 통해 기술적 신뢰도를 구축하려는 의도가 담겨 있다.

용어 해설

니들 인 어 헤이스택(NIAH): — Needle In A Haystack. 방대한 텍스트 데이터(건초더미) 속에 특정 정보(바늘)를 삽입하고 모델이 이를 얼마나 정확하게 찾아내는지 측정하는 테스트이다. 롱 컨텍스트 모델의 기본적 정보 추출 능력을 평가하는 핵심 지표로 활용되며, 컨텍스트가 길어져도 정보 유실 없이 정확한 답변을 내놓는지 확인하는 데 필수적이다.
RULER 벤치마크(RULER Benchmark): — RULER. 단순 검색을 넘어 복잡한 문맥 이해와 다중 정보 참조 능력을 측정하기 위해 설계된 롱 컨텍스트 벤치마크이다. NIAH보다 훨씬 까다로운 시나리오를 제공하여 모델의 실질적인 긴 지문 처리 능력을 검증하며, 최근 롱 컨텍스트 모델들의 변별력을 높이는 표준 평가 도구로 자리 잡고 있다.
컨텍스트 윈도우(Context Window): — 컨텍스트 윈도우. 모델이 한 번에 처리하고 기억할 수 있는 토큰의 최대 범위를 의미한다. 이 범위가 넓을수록 긴 문서나 대화 기록 전체를 참조하여 답변할 수 있는 능력이 향상되며, 최근에는 수백만 토큰 이상의 방대한 데이터를 한 번에 처리하려는 연구가 활발히 진행되고 있다.

언급된 도구

RULER추천

롱 컨텍스트 언어 모델의 검색 및 추론 성능 평가 벤치마크

언급된 리소스

GitHubHunter Omega Benchmarks GitHub