t-cln
주제 조건화 층 정규화
주제 조건화 층 정규화는 표준 LayerNorm의 스케일과 이동 파라미터를 토픽 임베딩을 입력으로 하는 MLP가 생성한 파라미터로 대체해 도메인·주제별 분포 차이를 보정하는 기법이다. 본 논문에서는 마지막 레이어 출력에 적용해 서로 다른 아랍어 토픽 간 표현 drift를 줄이고 크로스토픽 일반화를 개선했다. 초기화는 항등(identity)에 가깝게 설정해 학습 초기의 불안정성을 방지했다.
주제 조건화 층 정규화
주제 조건화 층 정규화는 표준 LayerNorm의 스케일과 이동 파라미터를 토픽 임베딩을 입력으로 하는 MLP가 생성한 파라미터로 대체해 도메인·주제별 분포 차이를 보정하는 기법이다. 본 논문에서는 마지막 레이어 출력에 적용해 서로 다른 아랍어 토픽 간 표현 drift를 줄이고 크로스토픽 일반화를 개선했다. 초기화는 항등(identity)에 가깝게 설정해 학습 초기의 불안정성을 방지했다.
