LingBot World v2 공개 가중치와 장시간 롤아웃 안정성 보고

커뮤니티 반응은 신중한 호기심과 재현성에 대한 요구가 혼재되어 있다. 다수는 장기 자기롤아웃 기반 증류가 실무적으로 유의미해 보인다고 평가하면서도 내부에서 보고된 단일 60분 스트레스 테스트만으로는 일반화하기 어렵다는 의견을 제기했다. 또한 지속성이 외형적 현상일 뿐 진정한 기억 유지로 볼 수 없다는 제한 때문에 응용 가능범위와 안전성 측면에서 추가 검증을 요구하는 반응이 많았다. 공개 가중치가 CC-BY-NC-SA라는 라이선스 조건도 실험·상업적 사용 계획에 영향을 미칠 것이라는 우려를 낳았다.

• 독립적으로 동일 조건의 장기 롤아웃(예: 연속 60분 이상)을 여러 환경에서 반복 실행해 재현성을 검증하고, 결과를 프레임별 품질 지표와 드리프트 측정으로 정량화하라.
• 정체성 유지 여부를 평가하려면 일부 영역을 의도적으로 컨텍스트 윈도우 밖으로 내보낸 뒤 재방문해 생성 결과의 일관성과 재현 가능한 속성(예: 색상, 형태, 위치)을 비교하는 실험을 설계하라.
• 공개 가중치 사용 시 CC-BY-NC-SA 라이선스 조건을 준수하고, 상업적 이용이 필요한 경우 라이선스 소유자와 별도 협의가 필요하다는 점을 확인하라.

MoBA attention mask

— MoBA 어텐션 마스크는 양방향(attention)과 자기회귀형(attention)을 혼합하여 과거 자기 생성 프레임에 과도하게 의존하는 현상을 억제하는 기법이다. 입력 시퀀스 일부에는 bidirectional attention을, 나머지에는 autoregressive attention을 적용해 정보 유입과 시퀀스 안정성 사이 균형을 맞춘다. 장기 롤아웃 환경에서 드리프트를 줄여 모델이 자기 생성 신호에 과도하게 고착되는 것을 완화한다.

KV-cache scheduling

— KV 캐시 스케줄링은 추론 중에 저장되는 키-값 쌍의 유지·갱신 전략을 시간에 따라 동적으로 조절하여 긴 롤아웃에서도 메모리와 계산을 제어하는 기법이다. 롤아웃 길이에 따라 일부 과거 토큰의 캐시를 축소하거나 주기적으로 갱신해 추론 비용을 관리한다. 이로써 긴 시퀀스 생성 시 계산·메모리 비용이 비선형으로 증가하는 문제를 완화한다.

Plücker embeddings

— Plücker 임베딩은 3차원 카메라 광선이나 평면을 Plücker 좌표계로 표현해 기하학적 관계를 고정 길이 벡터로 인코딩하는 기법이다. 카메라 위치와 방향을 모델 입력으로 안정적으로 주입할 수 있어 렌더링·시점 제어에서 유용하다. 본문에서는 실시간 카메라 제어 파라미터를 모델에 조건으로 제공하는 방식에 사용되었다.

AdaLN

— AdaLN은 조건부 정보에 따라 LayerNorm의 스케일과 쉬프트를 적응적으로 조정하는 방법으로, 입력 컨텍스트나 제어 신호에 따라 내부 표현을 재스케일링해 모델의 컨디셔닝 능력을 향상시킨다. 카메라 파라미터나 외부 제어 신호를 모델의 정규화 단계에 주입해 안정적인 조건 반응을 유도한다. 실시간 제어가 필요한 시퀀스 생성 모델에서 conditioning 수단으로 채택되었다.

Distribution-matching Distillation

— 분포 매칭 증류는 학생 모델이 교사 모델의 출력 분포뿐 아니라 롤아웃에서 관찰되는 전체 분포 특성을 따라가게 학습시키는 방법으로, 시간축을 포함한 자기롤아웃 분포를 일치시키는 손실을 사용한다. 단순한 프레임별 교사강제(supervised) 학습보다 장기 동작의 통계적 특성을 보존하는 데 초점을 둔다. 긴 상호작용 세션에서 동작 안정성을 확보하기 위한 후처리 단계로 사용되었다.