이진 컨텍스트
입력이나 환경에 따라 0/1 비트 벡터로 어떤 계산 경로 또는 파라미터 서브셋을 선택하는 방법을 말한다. 이 방식은 전체 가중치 행렬에서 일부 원소만 활성화하여 연산을 국소화하고 각 컨텍스트에 대해 다른 선형 매핑을 형성하도록 한다. 컨텍스트마다 다른 행동을 보이는 문제에서 모델 파라미터를 효율적으로 재사용하는 수단으로 중요하다.
