Inter-1가 무음 영상에서 'Yeah, Friday at five'를 반복 생성한 원인 분석

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

Inter-1라는 멀티모달 모델이 무음 영상에서 존재하지 않는 인용구를 반복 생성하는 현상이 관찰되었고, 원문은 입력(무음 영상)과 시스템 프롬프트(worked example)·모델 내부 priors의 상호작용을 핵심 원인으로 규정한다. 전수 검색에서 해당 문구의 학습 데이터 출처는 확인되지 않았고, 최종적으로 GEPA로 배포된 시스템 프롬프트의 예시 문장이 출력의 직접적 기원이었음이 밝혀졌다. 프롬프트 예시를 바꾸면 모델의 발화도 동일하게 치환되었고(예: Friday→Tuesday), 반대로 같은 프롬프트를 다른 모델에 넣으면 위조율이 거의 0%에 가까운 반면 post-training된 Inter-1만 비교적 높은 위조율(약 12%)을 보였다. 이 실험은 프롬프트가 '대본'을 제공하는 한편 post-training priors가 모델을 '무언가를 말하게' 하는 두 겹의 원인이 있음을 보여준다. 프롬프트 예시 삭제는 특정 문구의 반복을 멈추지만 모델이 다른 대사를 창작하는 경향은 남아 있으므로, 실무적으로는 프롬프트 감사·무음 입력 스트레스 테스트·모델별 ablation을 결합한 진단과 보정 루틴이 필요하다는 결론이 도출된다. 관련 상세 로그·포레스트 플롯과 재현 데이터는 원문 블로그에 공개되어 있다.

커뮤니티 반응

대체로 높은 관심을 보이며 많은 사용자가 프롬프트 누출 사례·유사한 hallucination 경험을 공유했고, 일부는 post-training priors가 문제의 핵심일 수 있다고 의견을 모았다. 토론에서는 프롬프트 감사지·무음 테스트·모델별 ablation을 실무 표준으로 삼아야 한다는 제안이 다수 제기됐다.

주요 논점

01중립다수

프롬프트 예시가 출력 누출의 직접적 원인이라는 점에 다수의 댓글이 동의하며, 실험에서 예시를 바꾸자 출력도 동일하게 바뀐 점을 근거로 제시했다.

02찬성다수

post-training된 언어적 priors가 모델을 '무언가를 말하도록' 강제하는 두 번째 원인으로 작용한다는 주장에는 ablation 결과(다른 체크포인트·모델의 낮은 위조율 vs 후속 훈련된 모델의 높은 위조율)가 뒷받침된다고 평가되었다.

03중립분열

프롬프트 제거가 특정 문구를 멈추게 하나 전체적 발화 경향을 제거하지 못한다는 점에서 단일 교정책만으로는 충분하지 않다는 의견이 일부에서 제기되었다.

합의점 vs 논쟁점

합의점

프롬프트 내 'worked example'이나 출력 샘플이 모델 출력에 직접적인 영향을 미친다.
모델별·프롬프트별 ablation 실험을 통해 원인(프롬프트 대 모델 내부 priors)을 분리해야 한다.

논쟁점

프롬프트 제거만으로 문제를 해결할 수 있는지 여부(일부는 근본적 해결책이라 주장, 다수는 불충분하다고 반박).
post-training 과정이 어느 정도까지 문제를 야기하는지와 그 보정 방법(재학습 vs 디코더 레귤레이션 vs 후처리)에서 의견이 갈림.

실용적 조언

시스템 프롬프트에서 실제 예시(worked example)를 제거하거나 생산 환경과 분리해 배포 전 프롬프트 감사를 수행할 것.
동일 프롬프트를 여러 모델 체크포인트에 돌려 프롬프트-모델 상호작용을 평가하고, 무음 또는 빈 입력에 대한 스트레스 테스트를 도입할 것.
프롬프트 교체·모델 교체 ablation을 정기적으로 수행해 프롬프트 영향도와 post-training priors의 상대적 기여도를 계량화할 것.

섹션별 상세

모델이 무음 비디오에서 존재하지 않는 인용구를 '말하는' 문제가 관찰되었고 원문은 입력(무음 비디오)→프롬프트 컨텍스트 처리→텍스트 출력의 경로에서 원인을 찾았다. 로그·트레이닝·추론 저장소를 전수 검색했으나 동일 문구의 데이터 출처가 없었고, 최종적으로 시스템 프롬프트에 포함된 예시 문장이 발견됐다. 프롬프트 예시를 포함한 상태에서 모델은 해당 예시와 동일한 문장을 출력했고, 예시 문구를 바꾸면 모델의 발화도 동일하게 치환되는 재현 결과가 나왔다. 이 결과는 프롬프트 내 예시가 입력 컨텍스트로 작동해 출력 확률을 직접 편향시킨다는 의미이다.

두 번째 실험은 '모델 교체, 프롬프트 동일' 조건으로 입력(같은 예시 포함 프롬프트)→각 모델의 처리→출력 비교를 수행했는데, 크고 이전 체크포인트 모델들은 거의 위조를 하지 않았고(0–2%) 후속 포스트트레이닝된 Inter-1만 약 12%의 위조율을 보였다. 즉 프롬프트가 '대본(script)'을 제공했지만, post-training 과정에서 학습된 언어적 priors가 모델을 '무언가를 말하도록' 강하게 만드는 또 다른 원인이었다. 이중 구조(프롬프트 제공 + post-training된 발화 충동)가 결합되어 동일 문구의 반복 출력이 강조되었다는 근거가 실험 수치로 제시된다. 실무적으로는 단순 프롬프트 정리가 근본적 해결책이 아닐 수 있음을 시사한다.

프롬프트 예시를 삭제하면 그 특정 문구의 반복은 멈추지만 모델이 다른 대사를 새로 발명하는 현상은 지속되었다고 원문이 보고했으며, 이는 문제의 범위가 '특정 예시의 누출'에서 '모델의 일반적 창작 편향'으로 확장됨을 의미한다. 입력(무음)→프롬프트 제거→출력 모니터링 과정에서 관찰된 변화는 한 문장은 제거하되 모델 내부의 발화 경향성은 남는다는 실험적 근거로 뒷받침된다. 따라서 실무 적용에서는 프롬프트 감사뿐 아니라 post-training priors를 평가하는 별도의 진단(무음·비어있는 입력에 대한 스트레스 테스트)이 필요하다.

사건은 시각·오디오 멀티모달 파이프라인에서 텍스트 컨텍스트가 시각 신호보다 우선적으로 작동할 수 있음을 보여주며, 입력(영상만)→멀티모달 인코딩→컨텍스트 윈도우 결합→생성 단계에서 텍스트 기반 우선순위가 결과를 좌우할 수 있다. 원문은 이를 '텍스트·인컨텍스트 버전의 Clever Hans'로 규정하고, 시각 전용 진단으로는 포착되지 않는 유형의 편향임을 강조한다. 운영상 의미는 멀티모달 시스템의 오류 원인 분석에 텍스트 프롬프트와 post-training 효과를 모두 포함해야 한다는 점이다.

용어 해설

시스템 프롬프트(System Prompt): — 모델에 초기 지침과 출력 형식을 제공하는 컨텍스트 블록으로, 입력(사용자 쿼리)과 함께 모델의 확률 분포를 형성해 응답 스타일과 내용에 직접적인 영향을 준다. 시연 예시나 포맷 샘플을 포함하면 모델이 해당 예시를 출력으로 재현할 확률이 높아지며, 특히 컨텍스트 윈도우 내 우선순위가 높을 때 영향이 증폭된다.
인컨텍스트 러닝(In-Context Learning): — 모델이 명시적 파라미터 업데이트 없이 입력 컨텍스트(프롬프트와 예시)를 통해 출력 패턴을 학습하고 적용하는 메커니즘으로, 예시가 입력에 포함되면 모델은 이를 패턴으로 인식해 유사한 출력을 생성한다. 프롬프트 내 작업 예시·포맷 예시는 이 효과를 유도하는 주요 매개변수다.
클레버 한스 효과(Clever Hans effect): — 모델이 실제 원인과 무관한 주변 신호(예: 프롬프트 예시, 시각적 노이즈)에 의존해 정답처럼 보이는 출력을 반복하는 현상으로, 입력과 학습 데이터 사이의 우연한 상관관계가 행동 유발 요인이 된다. 비디오 무음 상황에서 특정 문구를 반복 생성한 사례는 이 현상의 텍스트·멀티모달 변형으로 해석된다.

언급된 도구

GEPA prompt-optimizer중립

프롬프트 버전 관리 및 최적화·배포 도구

Inter-1중립

omni-modal social-signal 모델(사건의 주체 모델)

언급된 리소스

문서Goblin — 'Yeah, Friday at five' (blog post)