TL;DR

Apertus 1.5 70B는 Apertus 1.0을 기반으로 continued pretraining을 거쳐 멀티모달(이미지·오디오·텍스트) 입력을 받아 텍스트를 생성하도록 확장된 공개 70B LLM이다. 기본 컨텍스트 길이를 262,144 토큰으로 설정해 장문 처리에 강점을 두며 thinking mode로 내부 단계적 추론을 생성할 수 있어 복잡한 추론 태스크에서 활용 가능하다. README와 첨부 차트에서 텍스트 평균 62.9%, 시각 평균 53.6% 수준의 성능을 보여 실무에서 멀티모달·장문·추론 결합 워크로드에 적용할 만한 대안이 된다. 다만 thinking mode 사용 시 출력 길이와 비용 증가, 그리고 사실성·편향 검증이 필요한 점을 운영 시 반드시 고려해야 한다.

핵심 역량

• 이미지와 오디오를 포함한 멀티모달 입력을 받아 자연어로 응답을 생성하며, 입력 내 이미지·오디오 블록을 서로 다른 형식으로 혼합해 배치 처리할 수 있다. 이 처리 파이프라인은 AutoProcessor의 chat template 적용 단계에서 토크나이즈·포맷 변환을 거쳐 모델 입력으로 전달되며, 출력은 모델의 LM 헤드를 통해 텍스트 토큰으로만 생성된다. 멀티모달 파이프라인은 transformers의 fork와 vLLM 예시에서 동작을 확인할 수 있다.
• 장문 컨텍스트를 기본 262,144 토큰으로 지원해 매우 긴 문서나 대화 기록을 유지하면서 세부 질의응답을 수행할 수 있다. 입력 처리에서 이미지·오디오 토큰은 별도 토큰 스페이스로 관리되며 출력_vocab_size와 로그잇 패딩 전략으로 텍스트 생성 유틸리티와 호환성을 유지한다. 장문 컨텍스트는 메모리 사용량과 병렬화 설정에 큰 영향을 주므로 실행 시 tensor-parallel-size와 gpu-memory-utilization을 조정해야 한다.
• thinking mode를 통해 내부 추론 단계를 명시적으로 생성하도록 설정할 수 있어 복잡한 추론 문제에서 단계별 사고를 활용한다. 구현은 특별한 내부 토큰 구간을 사용해 모델이 가시적 응답 전 별도의 '생각' 텍스트를 생성하게 만들며, 이 과정은 max_new_tokens 예산 소비를 크게 증가시킬 수 있다. 개발자는 thinking mode를 켤 때 추론 출력에서 내부 사고 부분을 파싱하거나 제거하는 로직을 설계해야 한다.
• 모델과 훈련 데이터는 공개되어 있으며 open weights와 공개 데이터·훈련 레시피를 지향해 투명한 거버넌스를 제공한다. 발표 자료와 법적 문서에서 데이터 옵트아웃 처리·기억 방지 기법 등 책임 있는 개발 절차를 강조하고 있어 규제 대응과 투명성 요구가 있는 프로젝트에 적합하다. 라이선스는 Apache-2.0으로 상업적 사용과 배포에 명확한 규칙을 제공한다.
• 광범위한 언어 지원과 instruction-following, 도구 연동 능력이 향상되어 멀티언어 챗봇이나 도구 결합 에이전트에 바로 적용할 수 있다. 개선된 포스트트레이닝 레시피는 instruction-following 품질과 툴 사용 통합을 높이도록 설계되었으며, 실무에서는 외부 API 호출 파이프라인과 결합해 사용하기 용이하다. 단, 사실성 검증과 편향 여부는 별도 검토가 필요하다.

강점

• 완전한 오픈 거버넌스를 지향해 웨이트·데이터·훈련 레시피를 공개함으로써 검증 가능성과 재현성을 확보한다. 이 접근은 규제 준수 문서(EU AI Act 요약 등)와 함께 제공되어 감사나 연구 목적의 재사용에 유리하다. 공개성은 커스텀 튜닝과 연구 확장을 하는 개발자에게 직접적인 이점이 된다.
• 멀티모달 입력(이미지·오디오·텍스트)과 매우 긴 컨텍스트(262,144 토큰)를 결합해 복잡한 문서 이해·시나리오 기반 대화·멀티미디어 Q&A에 적합한 입력 처리 능력을 제공한다. 오디오 토큰화 규칙과 이미지 인터리브 처리 방식이 명시되어 있어 실무 통합 시 입력 전처리 파이프라인을 명확히 설계할 수 있다. 다만 메모리·병렬화 설정 조정이 필수적이다.
• thinking mode를 통해 단계적 추론을 모델 내부에서 생성하게 함으로써 복잡한 논리·수학·추론 문제에서 성능 향상을 노릴 수 있다. 이 모드는 내부 추론 토큰을 명시적으로 생성하므로 디버깅과 해석 가능성 측면에서 장점이 있으며, 응답의 신뢰도 향상 목적에 활용할 수 있다. 그러나 thinking mode는 출력 길이와 연산 비용을 크게 늘릴 수 있어 운영 예산과 latency 요구를 고려해야 한다.

훈련 방식

Apertus 1.5는 Apertus 1.0 기반의 continued pretraining 전략을 사용했으며, 70B 모델은 약 17조 토큰, 8B 모델은 약 19조 토큰의 추가 학습을 거쳤다. 훈련은 Transformer decoder 아키텍처와 bfloat16 정밀도를 바탕으로 진행되었고, 옵티마이저로는 AdEMAMix를 채택해 대규모 토큰 흐름에서 안정적인 수렴을 목표로 했다. 포스트트레이닝 단계에서 instruction-following과 tool-use 능력을 향상시키는 레시피를 적용했고, 데이터 거버넌스 측면에서는 데이터 소유자의 옵트아웃을 반영하는 절차와 기억 방지 기법을 병행했다.

알아두면 좋은 것

• Apertus 1.5는 8B와 70B 두 가지 크기로 발표된 멀티모달 LLM 패밀리이며 continued pretraining으로 Apertus 1.0을 확장해 멀티모달 데이터 혼합을 추가했다고 명시되어 있다. 공개된 설명에 따르면 70B 모델은 약 17T 토큰, 8B 모델은 약 19T 토큰으로 사전훈련이 진행되었고 bfloat16 정밀도를 사용했다. 모델은 완전한 오픈 데이터·오픈 웨이트·오픈 트레이닝 레시피를 지향하며 법적·투명성 문서를 함께 제공한다.
• 멀티모달 입력 처리 파이프라인은 이미지·오디오·텍스트 블록을 인터리브 방식으로 받아들이며, 오디오는 24 kHz로 리샘플링되어 초당 40토큰 기준으로 토큰화된다. 출력은 항상 텍스트만 생성되며 비디오 입력은 프레임을 추출해 이미지로 전달해야 한다는 실행 상의 제약이 있다. Transformers용 통합은 아직 upstream에 병합되지 않아 fork된 패키지와 Docker 이미지로 배포 예시를 제공한다.
• 장문 처리와 reasoning 강화에 초점을 두어 기본 컨텍스트 길이를 262,144 토큰으로 설정하고 thinking mode로 내부 추론을 수행할 수 있게 했다. thinking mode는 내부 추론 텍스트를 별도로 생성하므로 응답 길이가 길어질 수 있으며 도구 호출과 병용을 권장하지 않는다. vLLM과 transformers 예시 커맨드에는 tensor parallel, GPU 메모리 활용 등 실무 튜닝 포인트가 포함되어 있다.
• 책임 있는 데이터 사용과 옵트아웃 처리, 기억 방지(mechanisms to prevent memorization)를 강조하는 거버넌스 문서가 함께 제공되어 규제 및 투명성 요구가 있는 프로젝트에서 참고할 수 있다. EU AI Act 관련 요약과 코드 오브 프랙티스 문서 링크를 README에서 안내하고 있으며, 접근을 위해 동의 절차와 연락처 제출이 요구되는 gated 접근 방식도 채택하고 있다. 라이선스는 Apache-2.0이다.

기술적 특징

• 아키텍처는 decoder-only Transformer를 기반으로 하며 활성화로 xIELU를 사용하고 AdEMAMix 옵티마이저로 훈련을 진행했다. 이 구성이 대규모 continued pretraining에서 수렴 안정성과 표현력 확보에 초점을 맞추며 bfloat16 환경에서의 연산 효율을 고려해 설계되어 있다. 추가로 post-training 레시피로 instruction-following과 tool-use 능력을 개선했으며 thinking mode를 도입해 단계적 추론 동작을 제어한다.
• 멀티모달 처리 파이프라인은 AutoProcessor의 chat template를 통해 이미지·오디오·텍스트 블록을 토크나이즈·정렬하고 모델 입력으로 전달하는 일련의 전처리 단계로 구성된다. 오디오 입력은 24 kHz로 리샘플링되어 초당 40토큰 규칙을 적용하며 이미지와 오디오 토큰은 생성 대상이 아닌 입력 토큰으로만 처리된다. 이러한 설계는 텍스트 생성 유닛과의 호환성을 유지하면서 멀티모달 정보 융합을 가능하게 한다.
• 장문 컨텍스트(262,144 토큰)를 기본으로 지원하므로 메모리 분할(tensor parallel)과 GPU 메모리 유틸리제이션 설정이 운영 성능에 직접적으로 영향한다. vLLM 실행 예시에서 tensor-parallel-size, gpu-memory-utilization, max-model-len 파라미터 조정이 권장되며 CUDA Graph 관련 문제 대응을 위한 컴파일 설정(fuse_allreduce_rms)을 제공한다. 운영 환경에서는 이 파라미터들을 하드웨어에 맞춰 튜닝해야 안정적인 서비스가 가능하다.

차별점

• 완전 공개(open weights + open data + training recipes) 전략을 취하면서도 멀티모달·장문·reasoning 기능을 통합한 점이 주요 차별점이다. 많은 대형 모델이 웨이트나 데이터 일부만 공개하는 반면 Apertus는 거버넌스 문서와 법적 문서까지 함께 공개해 투명성 요구가 높은 프로젝트에 적합하다. 이 점은 연구 재현성과 기업의 컴플라이언스 검토에 유리하게 작용한다.
• thinking mode를 네이티브로 지원하여 내부 단계적 추론을 모델 차원에서 생성할 수 있게 한 점은 복잡한 논리 문제와 긴 추론 체인을 요구하는 태스크에서 실전적 이점을 제공한다. 내부 추론이 가시적 텍스트로 남기 때문에 디버깅과 결과 해석이 가능하다는 점도 운영적 차별화 요소다. 다만 이 모드는 도구 호출과 병용을 권장하지 않으며 출력 길이·비용 증가를 수반한다.

벤치마크

이미지 분석