1,200만 토큰 컨텍스트 윈도우와 100% NIAH 정확도를 달성한 새로운 아키텍처 검증 요청

연구팀이 직접 독립적 검증을 요청할 정도로 결과가 파격적이라 커뮤니티에서는 기대와 회의론이 공존하고 있다.

• 긴 문맥 처리가 필요한 프로젝트의 경우 해당 연구팀의 벤치마크 스크립트를 활용해 현재 사용 중인 모델의 한계를 테스트해볼 수 있다.

NIAH

— Needle In A Haystack. 방대한 텍스트 데이터(건초더미) 속에 특정 정보(바늘)를 삽입하고 모델이 이를 얼마나 정확하게 찾아내는지 측정하는 테스트이다. 롱 컨텍스트 모델의 기본적 정보 추출 능력을 평가하는 핵심 지표로 활용되며, 컨텍스트가 길어져도 정보 유실 없이 정확한 답변을 내놓는지 확인하는 데 필수적이다.

RULER Benchmark

— RULER. 단순 검색을 넘어 복잡한 문맥 이해와 다중 정보 참조 능력을 측정하기 위해 설계된 롱 컨텍스트 벤치마크이다. NIAH보다 훨씬 까다로운 시나리오를 제공하여 모델의 실질적인 긴 지문 처리 능력을 검증하며, 최근 롱 컨텍스트 모델들의 변별력을 높이는 표준 평가 도구로 자리 잡고 있다.

Context Window

— 컨텍스트 윈도우. 모델이 한 번에 처리하고 기억할 수 있는 토큰의 최대 범위를 의미한다. 이 범위가 넓을수록 긴 문서나 대화 기록 전체를 참조하여 답변할 수 있는 능력이 향상되며, 최근에는 수백만 토큰 이상의 방대한 데이터를 한 번에 처리하려는 연구가 활발히 진행되고 있다.