absorbing-state
흡수 상태(마스킹)
전방 프로세스에서 원래 토큰을 특별한 마스크 토큰으로 점진적으로 대체하는 오염 전략이다. 마스크 방식은 토큰 간 내재적 거리 개념을 필요로 하지 않으면서 빈칸 채우기 형식의 역과제(denoising)를 만든다. 텍스트·코드·생물학적 알파벳처럼 범주 간 유사성 정보가 없거나 불안정할 때 널리 사용된다.
흡수 상태(마스킹)
전방 프로세스에서 원래 토큰을 특별한 마스크 토큰으로 점진적으로 대체하는 오염 전략이다. 마스크 방식은 토큰 간 내재적 거리 개념을 필요로 하지 않으면서 빈칸 채우기 형식의 역과제(denoising)를 만든다. 텍스트·코드·생물학적 알파벳처럼 범주 간 유사성 정보가 없거나 불안정할 때 널리 사용된다.
