information-bottleneck

입력 데이터에서 정답을 맞히는 데 불필요한 노이즈는 압축하여 버리고 핵심 정보만 보존하여 잠재 표현을 만드는 정보 이론적 방법론이다. 모델의 일반화 성능을 높이는 데 중요한 역할을 하며 데이터의 밀도에 따라 적절한 압축률을 설정하는 것이 핵심이다. DADA 모델에서는 이를 적응형 병목 구조로 구현하여 도메인 범용성을 확보했다.