단일 포워드 패스에서 N개 문장 간 방향성 관련성을 측정하는 비대칭 시그모이드 어텐션 실험

커뮤니티 반응

작성자의 실험적 접근에 대해 긍정적인 반응이 주를 이루며 특히 어텐션 맵을 직접 점수 행렬로 사용하는 방식의 효율성에 주목했다.

01찬성다수

방향성 있는 관계 추출을 위해 비대칭 어텐션을 사용하는 것은 논리적으로 타당하며 연산 효율성이 뛰어나다.

기존 Bi-Encoder(SBERT 등)는 수학적으로 대칭적 구조를 가져 원인과 결과의 방향성을 구분하지 못하며 Cross-Encoder는 정확하지만 모든 쌍을 개별 계산해야 하므로 연산 비용이 너무 크다는 점이 한계로 지목됐다.

Scout 아키텍처는 문장 임베딩을 입력으로 받아 비대칭 투영을 적용함으로써 문장 i를 읽었을 때 문장 j가 주는 정보 가치를 N×N 행렬로 한 번에 계산하여 Cross-Encoder의 논리와 Bi-Encoder의 속도를 동시에 확보했다.

표준 Softmax 대신 Sigmoid 어텐션을 도입하여 각 셀의 관련성 점수를 0에서 1 사이로 독립적으로 계산했다. 이는 여러 문장이 관련되거나 전혀 관련 없을 때 발생하는 점수 희석 문제를 해결하고 각 관계의 독립적 중요도를 보존한다.

여러 레이어의 어텐션 맵을 Conv2D 블록으로 집계하여 초기 레이어의 어휘적 중첩 정보와 후기 레이어의 인과적 연결 정보를 모두 활용하는 다층 구조를 설계하여 관계 추출의 정밀도를 높였다.

수도꼭지 누수 사례 실험 결과 SBERT는 주제가 유사한 광고성 문장을 우선순위에 둔 반면 Scout는 밸브 조이기와 같은 실질적인 해결 단계에 높은 점수를 부여하여 단순 유사도와 정보 이득의 차이를 증명했다.

바이-인코더(Bi-Encoder): — 두 입력 문장을 독립적으로 인코딩하여 벡터화한 뒤 코사인 유사도 등으로 거리를 측정하는 구조이다. 연산 속도가 매우 빠르지만 문장 간의 복잡한 상호작용을 포착하기 어렵고 수학적으로 대칭적인 관계만 측정 가능하다.
크로스-인코더(Cross-Encoder): — 두 문장을 동시에 모델에 입력하여 문장 간의 모든 상호작용을 직접 계산하는 방식이다. 정확도는 매우 높으나 모든 문장 쌍에 대해 개별적인 추론이 필요하여 데이터가 많아질수록 연산 비용이 기하급수적으로 증가한다.
시그모이드 어텐션(Sigmoid Attention): — 표준 소프트맥스(Softmax) 대신 시그모이드 함수를 사용하여 어텐션 가중치를 계산하는 기법이다. 각 요소의 점수가 다른 요소에 의존하지 않고 독립적으로 0과 1 사이의 값을 가지므로 여러 정보가 동시에 중요하거나 모두 중요하지 않은 상황을 더 잘 처리한다.
정보 이득(Information Gain): — 하나의 정보를 알게 됨으로써 얻는 추가적인 지식의 양을 의미한다. 이 아티클에서는 문장 A를 읽은 후 문장 B가 얼마나 새로운 가치나 해결책을 제공하는지를 측정하는 지표로 사용됐다.

SBERT중립

문장 임베딩 생성 및 비교 베이스라인

Scout추천

방향성 관련성 행렬 생성 실험 모델