양방향 어텐션
토큰이 자신보다 앞선 토큰뿐만 아니라 뒤에 오는 토큰들도 모두 참조할 수 있는 방식이다. BERT와 같은 인코더 모델에서 주로 사용되며, 문맥 전체를 동시에 파악하는 데 유리하다. 프롬프트 처리 시 이를 적용하면 정보 누락을 방지할 수 있다.
RAG 성능 극대화, 퍼플렉시티의 새로운 임베딩 모델 pplx-embed 출시
프롬프트 반복만으로 성능 향상? 트랜스포머 구조의 숨겨진 비밀