시퀀스 라벨링
문장 내 토큰 순서를 보존한 채 각 토큰에 라벨을 할당하는 작업으로 NER이 대표적이다. 입력 텍스트를 토큰화한 후 토큰별 특징 벡터를 예측기로 전달하고, 토큰별 확률 또는 CRF 같은 구조로 최종 라벨을 결정한다. 다국어 환경에서는 토큰 경계와 언어 특이 문법을 고려한 전처리와 모델 설계가 중요하다.
