Raspberry Pi AI HAT+ 2 실전 벤치마크: 마케팅 수치와 실제 성능의 격차

작성자의 부정적인 벤치마크 결과에 대해 하드웨어 가속기의 실효성에 대한 회의적인 반응이 주를 이룬다.

• 생성형 AI 프로젝트를 위해 하드웨어를 구매한다면 Jetson Orin Nano나 Rockchip 3588 기반 보드를 우선 고려할 것.
• VLM 성능이 중요하다면 현재 AI HAT+ 2의 인코더 속도 한계를 반드시 확인해야 함.

첫 토큰 생성 시간(TTFT)

— LLM에 프롬프트를 입력한 후 첫 번째 결과 토큰이 출력될 때까지 걸리는 지연 시간이다. 사용자 경험의 즉각성을 결정하는 핵심 지표로, 모델 로딩과 프리필 단계의 효율성을 나타낸다.

프리필(Prefill)

— LLM 추론의 첫 단계로, 입력된 전체 컨텍스트를 한꺼번에 처리하여 KV 캐시를 생성하는 과정이다. 긴 문맥이나 도구 호출 시 이 단계의 속도가 전체 응답 속도에 큰 영향을 미친다.

시각 언어 모델(VLM)

— 이미지나 비디오 데이터를 입력받아 텍스트로 설명하거나 질문에 답할 수 있는 멀티모달 모델이다. 이미지 인코더와 언어 모델이 결합된 구조를 가지며 실시간 영상 분석에 활용된다.

초당 테라 연산(TOPS)

— AI 가속기의 이론적인 최대 연산 성능을 나타내는 단위이다. 수치가 높을수록 잠재적 성능이 좋지만, 실제 성능은 소프트웨어 최적화와 메모리 대역폭 등 다양한 요인에 의해 결정된다.