라이브커머스용 옴니모달 이해 모델 TLive-Omni

왜 중요한가

라이브커머스의 상품 정보는 진행자의 음성, 영상 프레임, 상품 이미지, 화면 속 문자, 사용자 질문에 나뉘어 있고 서로 다른 시점에 나타납니다. TLive-Omni는 이 정보를 하나의 입력 흐름으로 묶고, 실제 프레임 샘플링 결과에 맞춰 음성과 영상을 정렬해 상품 중심의 질의응답과 검색을 수행합니다. 라이브커머스 전용 데이터 생성, 단계별 학습, 검증 가능한 보상을 함께 설계해 4B와 9B 규모의 공개 모델로 도메인 작업과 일반 멀티모달 작업을 동시에 평가했다는 점이 중요합니다.

핵심 기여

음성·영상 정렬을 위한 Per-vGrid

각 비디오 그리드에 같은 시간 구간의 오디오 토큰을 붙이고 명시적인 경계 토큰과 텍스트 타임스탬프를 추가합니다. 요청한 샘플링 속도가 정수 프레임 선택으로 달라질 때 실제 프레임 인덱스에서 시간과 오디오 범위를 다시 계산해 두 양식의 대응 관계를 보존합니다.

라이브커머스 중심의 3단계 SFT

5M ASR 샘플로 오디오 정렬기만 학습한 뒤 26M 오디오 샘플로 음성·소리·음악·화자 이해를 확장하고, 마지막으로 14M 멀티모달 샘플을 사용해 언어 모델과 정렬기를 공동 적응시킵니다. 단계별로 고정하는 구성 요소를 달리해 오디오 표현 정렬과 능력 학습을 분리합니다.

최종 응답을 직접 채점하는 Faithful-RFT

Stage 3 모델에서 출발해 GRPO로 여러 후보 응답을 생성하고, OCR·시각적 위치 지정처럼 규칙으로 확인할 수 있는 작업과 자유 형식 작업에 서로 다른 보상을 적용합니다. 보상 분산이 거의 없는 응답 그룹은 다시 생성해 상대적 학습 신호를 확보하며, 불필요한 명시적 사고 추적에는 보상을 주지 않습니다.

양식별 데이터 생산 및 품질 정제 엔진

오디오에는 ASR 앙상블 합의와 화자 교차 검증을, 이미지에는 VLM Detector–Judger 순환과 원본 대조를, 비디오에는 물리적 장면 분할·의미적 사건 분할·시간 보정을 적용합니다. 이 과정을 통해 ASR, OCR, 상품 시각적 위치 지정, 시간 구간 추정, 밀집 비디오 캡션, 옴니모달 QA용 학습 신호를 생성합니다.

핵심 아이디어 이해하기

일반적인 멀티모달 모델은 이미지, 비디오, 오디오를 함께 입력받더라도 서로 대응하는 시점의 근거가 입력 시퀀스에서 멀어지면 음성 내용과 화면 정보를 정확히 연결하기 어렵습니다. TLive-Omni는 먼저 Qwen3.5의 시각·언어 표현과 Qwen3-Omni에서 가져온 AuT 오디오 인코더를 같은 임베딩 공간에 맞춥니다. 오디오는 16 kHz의 128차원 mel-spectrogram에서 시작해 초당 약 13개 토큰으로 압축되고, 두 층 정렬기가 이를 언어 모델의 임베딩 차원으로 투영합니다.

Per-vGrid는 비디오를 시간 그리드로 나누고 각 그리드 안에 해당 구간의 비디오 토큰과 오디오 토큰을 연속해서 배치합니다. 예를 들어 30 FPS로 촬영한 119프레임 비디오에 2 FPS 샘플링을 요청해도 실제 프레임 인덱스가 [0, 20, 39, 59, 79, 98, 118]이면 실현 샘플링 속도는 약 1.76 FPS입니다. 두 프레임씩 묶고 마지막 프레임을 패딩하면 네 그리드가 생기며, 전체 그리드의 실제 시간 폭은 1.0초가 아니라 약 1.13초가 되어 오디오 범위도 약 13토큰에서 14~15토큰으로 조정됩니다.

학습은 정렬, 오디오 능력, 전체 멀티모달 능력의 순서로 진행됩니다. 이후 Faithful-RFT는 같은 프롬프트에서 생성한 후보들의 검증 가능한 정답 점수 차이를 이용해 최종 응답의 근거 충실도와 표현을 조정합니다. 따라서 모델은 단순히 긴 추론 문장을 생성하는 대신, 실제 음성·영상·이미지 근거와 일치하는 짧은 응답을 만드는 방향으로 학습됩니다.

방법론

TLive-Omni는 Qwen3.5를 언어·비전 백본으로 사용하고 Qwen3-Omni의 AuT 오디오 인코더를 경량 오디오 정렬기로 연결합니다. 이미지 한 장은 공간 병합 뒤 높이 h와 너비 w에 따라 (h/32) × (w/32) 비주얼 토큰을 만들고, 샘플링된 비디오는 프레임 수 f에 따라 ceil(f/2) × (h/32) × (w/32) 토큰을 만듭니다. 오디오는 16 kHz 입력과 128차원 mel-spectrogram을 사용하며, 가변 길이 신호를 약 13토큰/초로 압축해 긴 방송을 처리합니다.

Per-vGrid에서는 실제로 선택된 프레임 인덱스를 기준으로 타임스탬프와 오디오 범위를 계산합니다. 각 시간 그리드는 명시적 시작·끝 경계 토큰 안에 텍스트 타임스탬프, 비디오 토큰, 대응 오디오 토큰을 배치하고 이웃 그리드와 분리합니다. 입력은 프레임과 오디오 구간에서 시작해 정렬된 토큰 시퀀스로 변환되고, 언어 모델은 이를 바탕으로 전사, 위치 좌표, 시간 구간 또는 자연어 답변을 출력합니다.

데이터 생산은 오디오·이미지·비디오 경로를 나눠 진행합니다. 오디오에서는 VAD와 정규화 뒤 ASR 모델 앙상블의 교차 모델 합의로 전사 의사 레이블을 만들고, LLM이 브랜드명·소재·색상·모델 번호 같은 저빈도 용어를 추출해 라이브 방송 전용 키워드 사전을 구축합니다. 이미지에서는 VLM Detector가 후보 상자를 만들고 Judger가 부정확한 결과를 제거하며, 비디오에서는 TransNet V2로 물리적 장면을 나누거나 VLM으로 의미적 사건 구간을 만든 뒤 ASR·시각 인식·LLM 융합과 시간 보정을 적용합니다.

SFT의 첫 단계는 언어 모델과 오디오 인코더를 고정하고 5M ASR 샘플로 오디오 정렬기만 학습합니다. 두 번째 단계는 언어 모델을 고정한 채 26M 오디오 샘플에서 오디오 인코더와 정렬기를 학습하고, 세 번째 단계는 14M 멀티모달 샘플에서 언어 모델과 두 정렬기를 최적화하며 인코더는 고정합니다. 멀티모달 배치에서는 양식별 토큰 길이를 정렬해 패딩을 줄이고, 모든 워커가 같은 시드로 동일한 전역 배치를 선택한 뒤 로컬 배치로 분할합니다.

주요 결과

라이브커머스 오디오 평가에서 TLive-Omni-9B는 ASR CER 6.46으로 평가된 모델 중 가장 낮은 값을 기록했고, TLive-Omni-4B도 6.66을 기록했습니다. 9B의 화자 귀속 ASR cpWER는 12.27, 오디오 설명 정확도는 75.96, 오디오 설명 환각률은 21.00, Audio QA 정확도는 76.28이었으며, 4B는 각각 12.88, 76.12, 20.97, 72.60을 기록했습니다. CER과 환각률은 낮을수록, 나머지 지표는 높을수록 유리합니다.

이미지 평가에서는 TLive-Omni-4B가 라이브 프레임 상품 시각적 위치 지정 AP 82.85, 상품 이미지 AP 91.45, 텍스트 위치 지정 F1 86.99, 텍스트 인식 정규화 편집거리 4.72%, 분류 정확도 79.06을 기록했습니다. 9B는 각각 82.33, 89.96, 87.59, 4.24%, 79.85를 기록했습니다. AP와 F1은 정답 상자와 예측 상자의 IoU가 0.5 이상인 검출 품질과 위치 일치율을 반영하며, 정규화 편집거리는 작을수록 인식 오류가 적다는 뜻입니다.

비디오 평가에서 TLive-Omni-9B는 시간 구간 추정 mIoU 81.49, 밀집 캡션 정확도 74.63, 밀집 캡션 환각률 8.76, Video QA 정확도 93.23을 기록했습니다. 4B도 각각 77.63, 69.23, 9.57, 92.31을 기록했습니다. mIoU는 예측 구간과 정답 구간의 겹침 정도를 나타내므로 9B는 라이브커머스의 사건 위치를 찾고 근거에 맞는 캡션을 생성하는 두 작업에서 함께 높은 결과를 보였습니다.

일반 벤치마크에서도 9B는 MLVU 80.9, Video-MME 75.6, LongVideoBench 69.9, MMVU 67.1을 기록해 공개 모델 가운데 높은 비디오 성능을 냈고, 옴니모달 평가에서는 AVUT 80.0, WorldSense 56.0, DailyOmni 80.5, FutureOmni 58.5를 기록했습니다. 시간 구간 추정 전용 TimeLens-Bench에서는 4B가 Charades-TL 57.0, ActivityNet-TL 58.2, QVHighlights-TL 69.2로 세 항목 모두 공개 모델 중 가장 높은 mIoU를 기록했습니다. 이는 라이브커머스에 맞춘 학습이 일반 영상·음성·이미지 능력을 크게 좁히지 않았다는 결과와 연결됩니다.

기술 상세

비전 경로는 Qwen3.5의 네이티브 시각 처리와 MLP 정렬기를 사용하고, 오디오 경로는 Qwen3-Omni의 AuT 인코더와 두 층 정렬기를 사용합니다. AuT는 2천만 시간의 오디오 데이터로 처음부터 학습되었으며, 16 kHz 오디오를 128차원 mel-spectrogram으로 변환한 뒤 약 13토큰/초로 압축합니다. TLive-Omni는 최대 256K 멀티모달 컨텍스트를 지원하므로 긴 라이브 방송 구간을 하나의 문맥에서 처리하도록 설계되었습니다.

Per-vGrid의 핵심은 단순한 시간 표기보다 실제 토큰 배치와 범위 계산에 있습니다. 119프레임·30 FPS 소스 비디오에서 요청 속도 2 FPS를 사용해도 실제 샘플이 7개라면 실현 속도는 7/119 × 30, 약 1.76 FPS입니다. 두 프레임을 한 그리드로 묶으면 그리드 시간 폭은 약 2/1.76, 즉 1.13초가 되고, 초당 약 13개인 오디오 토큰 수는 한 전체 그리드에서 약 14~15개로 바뀝니다. 이 계산 흐름은 요청된 샘플링 속도를 그대로 사용하는 방식보다 프레임·오디오 경계를 실제 입력에 맞게 만듭니다.

Faithful-RFT에서는 프롬프트 x마다 G개의 응답을 생성하고 각 응답의 스칼라 보상 R을 그룹 평균과 표준편차로 정규화해 상대적 이점을 계산합니다. 보상은 작업별로 라우팅되며, 객관식·OCR·시각적 위치 지정에는 규칙 기반 점수, 자유 형식 멀티모달 답변에는 LLM judge 점수를 적용한 뒤 유효한 보상만 가중합합니다. 그룹 안의 보상이 모두 같으면 상대적 이점이 0에 가까워지므로, 보상 분산을 확인하고 필요한 경우 생성 설정이나 프롬프트를 바꿔 후보 그룹을 다시 생성합니다.

동기화된 길이 그룹화 샘플러는 양식별 샘플을 토큰 길이로 정렬한 뒤 전역 배치 크기를 워커 수 R과 로컬 배치 크기 b의 곱인 Rb로 고정합니다. 각 워커가 epoch-dependent seed를 공유하면 모든 워커가 동일한 양식과 전역 배치를 선택하고, 각 워커는 그 전역 배치의 서로 겹치지 않는 b개 샘플을 가져갑니다. 입력 길이가 비슷한 샘플을 함께 처리하고 sequence packing은 끄기 때문에 패딩을 줄이면서 샘플 수와 작업량을 통제할 수 있습니다.

한계점

논문은 TLive-Omni가 이해 작업에 초점을 두며 콘텐츠 생성이나 완전한 full-duplex 실시간 상호작용을 지원하는 모델은 아니라고 명시합니다. 또한 더 길고 잡음이 많으며 다양한 라이브 방송 환경에 대한 견고성을 높이고, 불완전하거나 모호한 멀티모달 입력에서 시간 근거를 보정하는 작업을 향후 방향으로 남겨 둡니다. 공개 벤치마크에 대한 평가 범위를 더 넓히는 일도 후속 과제로 제시됩니다.

실무 활용

TLive-Omni는 라이브 방송의 음성, 영상, 상품 이미지, 화면 문자를 함께 입력받아 상품 정보와 사건 시점을 추출하는 용도로 사용할 수 있습니다. 논문은 4B와 9B 모델을 제시하고 GitHub 저장소와 Hugging Face 모델 링크를 제공합니다. 다만 모델의 초점은 이해와 응답 생성이며, 생성형 콘텐츠 제작이나 완전한 full-duplex 실시간 상호작용은 범위에 포함되지 않습니다.

방송 음성과 화면 정보를 함께 사용해 상품명, 소재, 색상, 모델 번호를 전사하고 라이브커머스 전용 키워드 사전을 구축하는 파이프라인
상품 이미지와 방송 프레임에서 특정 상품이나 기능의 위치를 찾아 JSON 형식의 bounding box로 반환하는 시각적 위치 지정 시스템
방송의 특정 발화나 상품 시연이 발생한 시간 구간을 찾아 temporal grounding 검색 결과로 제공하는 기능
음성, 화면 문자, 비디오 장면을 결합해 시간대별 밀집 캡션과 근거 기반 Video QA 응답을 생성하는 기능
오디오·이미지·비디오 입력을 함께 처리해 라이브 방송 모니터링과 상품 질의응답을 수행하는 멀티모달 분석 서비스

코드 공개 여부: 공개

코드 저장소 보기

키워드

TLive-OmniPer-vGridFaithful-RFT옴니모달 이해라이브커머스시간 구간 추정상품 시각적 위치 지정화자 귀속 ASR

용어 해설

옴니모달 이해(Omni-Modal Understanding): — 이미지, 비디오, 오디오, 텍스트처럼 서로 다른 입력 양식을 하나의 표현 공간에서 함께 처리하는 능력입니다. TLive-Omni는 각 양식의 정보를 결합해 상품 인식, 음성 전사, 시간 구간 추정, 질의응답을 수행합니다. 라이브커머스처럼 근거가 여러 양식과 시점에 흩어진 환경에서 핵심 역할을 합니다.
시간 구간 근거 추정(Temporal Grounding): — 질문이나 사건에 해당하는 비디오의 시작과 끝 시점을 찾아내는 작업입니다. 모델은 영상 프레임과 음성 정보를 시간축에 맞춰 처리한 뒤 관련 구간을 출력합니다. 라이브 방송에서 특정 상품 시연이나 발화가 언제 발생했는지 찾는 데 사용됩니다.
화자 분할(Speaker Diarization): — 오디오 구간마다 누가 말했는지 식별하고 발화 시점을 나누는 기술입니다. 이 논문은 음향 기반 모델과 영상·전사 정보를 함께 사용하는 MLLM의 결과를 비교하고 시간 겹침을 검사합니다. 그 결과 화자별 음성 전사 학습에 사용할 수 있는 정제된 데이터를 확보합니다.
그룹 상대 정책 최적화(Group Relative Policy Optimization): — 하나의 프롬프트에서 여러 응답을 생성하고 응답 사이의 보상 차이를 이용해 정책을 갱신하는 강화학습 방식입니다. 각 응답의 보상을 같은 그룹의 평균과 표준편차로 정규화해 상대적 이점을 계산합니다. 절대적인 정답 점수보다 동일 입력에 대한 응답 간 선호를 학습 신호로 활용합니다.
길이 그룹화 샘플링(Length-Grouped Sampling): — 토큰 길이가 비슷한 샘플을 같은 전역 배치에 배치하는 데이터 샘플링 방식입니다. 멀티모달 입력의 길이 차이에서 생기는 패딩과 워커 간 작업량 불균형을 줄이면서 고정된 샘플 수를 유지합니다. TLive-Omni는 워커마다 동일한 시드를 사용해 같은 전역 배치를 선택한 뒤 이를 로컬 배치로 나눕니다.

라이브커머스용 옴니모달 이해 모델 TLive-Omni

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

MOSS-VL 실시간 상호작용 기술 보고서

StreamArena와 StreamMind

OmniAssistBench로 측정한 영상 보조 모델의 한계

멀티모달 프리트레인의 물리와 확장 레시피

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

MOSS-VL 실시간 상호작용 기술 보고서

StreamArena와 StreamMind

OmniAssistBench로 측정한 영상 보조 모델의 한계

멀티모달 프리트레인의 물리와 확장 레시피